Rozprawy doktorskie na temat „Interface neuronale”

Depuis la création de l'ordinateur, la conception d'interfaces utilisateur intuitives est cruciale pour la facilité d'utilisation, influencée par l'environnement de déploiement et les utilisateurs cibles. Les interfaces cerveau-ordinateur (BCI) permettent de contrôler des appareils par des signaux neuronaux, promettant une meilleure interaction pour les personnes paralysées. Ce projet propose un logiciel de démonstration pour contrôler un bras robotisé à l'aide d'une BCI. Le système décode les intentions de l'utilisateur à partir des signaux EEG pour exécuter des commandes.Les objectifs scientifiques sont de développer une stratégie de décodage de l'imagerie motrice (IM) en temps réel, concevoir un système de contrôle améliorant l'expérience utilisateur malgré une précision de décodage limitée, et établir une procédure d'évaluation des performances. La littérature montre des problèmes comme le décodage hors ligne et l'absence de procédures d'évaluation standardisées, et note les limites de l'apprentissage profond pour le décodage de l'IM, orientant notre recherche vers des méthodes de machine learning basiques.Initialement, divers pipelines de décodage EEG pour le contrôle de neuroprothèses ont été comparés, trouvant que les modèles common spatial patterns et linear discriminant analysis étaient les plus efficaces. Une étude a montré qu'un dispositif EEG à 64 canaux pouvait être réduit à huit capteurs bien placés sans perte significative de précision, réduisant les coûts des dispositifs EEG à basse densité.Un dispositif d'évaluation pour les systèmes de contrôle BCI a été développé, avec des améliorations itératives des logiciels et la formation des participants. Un système de contrôle de réalité augmentée (RA) intégrant un retour visuel holographique et une approche de contrôle partagée utilisant l'oculométrie pour la sélection des objets et la vision par ordinateur pour la reconstruction spatiale a également été créé.Une étude utilisateur a comparé le système de contrôle BCI à un système basé uniquement sur la poursuite oculaire. Bien que l'oculométrie soit plus performante, l'étude a confirmé la faisabilité de notre système BCI pour des applications réelles avec des améliorations potentielles.Les principales conclusions sont :- Huit capteurs EEG suffisent pour des performances de décodage adéquates, avec une précision passant de 0,67 à 0,65 en passant de 64 à 8 capteurs.- Un système de contrôle partagé avec décodage BCI et intégration de la réalité augmentée améliore l'interface utilisateur. Deux classes d'IM suffisent pour un taux de réussite de 0,83.- Bien que l'oculométrie soit plus performante, les BCI sont utilisables dans le monde réel.- Les appareils EEG commerciaux sont viables pour l'acquisition d'EEG dans un système de contrôle BCI. Tous les participants utilisant l'appareil EEG commercial ont réussi les tâches d'évaluation, réduisant ainsi les coûts.Nous recommandons que les recherches futures intègrent des méthodes de décodage EEG avancées comme l'apprentissage profond, l'apprentissage par transfert et l'apprentissage continu. La ludification de la procédure d'étalonnage pourrait améliorer les données de formation et rendre le système de contrôle plus attrayant. Une intégration matérielle et logicielle plus étroite avec des capteurs intégrés dans le casque AR devrait conduire à un système de contrôle BCI prêt à l'emploi pour diverses applications
Since the inception of digital computers, creating intuitive user interfaces has been crucial. Effective and efficient user interfaces ensure usability, significantly influenced by the deployment environment and target demographic. Diverse interaction modalities are essential for inclusive device usability.Brain-computer interfaces (BCIs) enable interaction with devices through neural signals, promising enhanced interaction for individuals with paralysis and improving their autonomy and quality of life. This research project develops a proof-of-concept software using off-the-shelf hardware to control a robotic arm with BCI. The BCI system decodes user intentions from EEG signals to execute commands, focusing on the optimal design of a BCI control system for practical human-robot collaboration.The research established the following key objectives: developing a real-time motor imagery (MI) decoding strategy with fast decoding, minimal computational cost, and low calibration time; designing a control system to address low MI decoding accuracy while enhancing user experience; and developing an evaluation procedure to quantify system performance and inform improvements.The literature review identified issues like the prevalence of offline decoding and lack of standardized evaluation procedures for BCIs, and highlighted the limitations of using deep learning for MI decoding. This prompted a focus on off-the-shelf machine learning methods for EEG decoding.Initial development benchmarked various EEG decoding pipelines for neuroprostheses control, finding that standard common spatial patterns and linear discriminant analysis were practical despite user customization yielding optimal results. Another investigation reduced the number of sensors for MI decoding, using a 64-channel EEG device and demonstrating that reliable MI decoding can be achieved with just eight well-placed sensors. This feasibility of using low-density EEG devices with fewer than 32 electrodes reduces costs.A comprehensive evaluation framework for BCI control systems was developed, ensuring iterative software improvements and participant training. An augmented reality (AR) control system design was also described, integrating visual feedback with real-world overlays via a shared control approach using eye tracking for object selection and computer vision for spatial awareness.A user study compared the developed BCI control system to an eye-tracking-only control system. While eye tracking outperformed the BCI system, the study confirmed the feasibility of the BCI design for real-world applications with potential enhancements.Key findings include:- Eight well-placed EEG sensors are sufficient for adequate decoding performance, with a non-significant decrease in accuracy from 0.67 to 0.65 when reducing from 64 sensors to 8.- A shared control design informed by real-world contexts simplifies BCI decoding, and AR integration enhances the user interface. Only 2 MI classes are needed to achieve a success rate of 0.83 on evaluation tasks.- Despite eye tracking outperforming current BCI systems, BCIs are feasible for real-world use, with significantly higher efficiency in task completion time for the eye-tracking system.- Consumer-grade EEG devices are viable for EEG acquisition in BCI control systems, with all participants using the commercial EEG device successfully completing evaluation tasks, indicating further cost reductions beyond sensor reduction.Future research should integrate advanced EEG decoding methods like deep learning, transfer learning, and continual learning. Gamifying the calibration procedure may yield better training data and make the control system more attractive to users. Closer hardware-software integration through embedded decoding and built-in sensors in AR headsets should lead to a consumer-ready BCI control system for diverse applications

Les Interfaces Cerveau-Machine sont des dispositifs permettant d'instaurer un canal de communication entre le cerveau humain et le monde extérieur sans utiliser les voies usuelles nerveuses et musculaires. Le développement de tels systèmes se situe à l'interface entre le traitement du signal, l'apprentissage statistique et la neurophysiologie. Dans cette thèse, nous avons réalisé et étudié un dispositif d'Interface Cerveau-Machine non invasif asynchrone, c'est-à-dire capable d'identifier des actions mentales associées à des tâches motrices ou cognitives imaginées sans synchronisation sur un événement contrôlé par un système externe. Celui-ci est basé sur l'analyse en temps réel de signaux électro-encéphalographiques (EEG) issus d'électrodes disposées à la surface de la tête d'un sujet humain. Du point de vue méthodologique, nous avons implémenté plusieurs techniques de prétraitement de ces signaux et comparé leur influence sur les performances du système. Ces techniques comprennent : 1) l'utilisation directe du signal issu des capteurs EEG, 2) l'exploitation de méthodes de séparation de sources qui permettent de résumer les signaux EEG par un faible nombre de composantes spatiales et 3) la reconstruction de l'activité des sources de courant corticales par résolution du problème inverse en EEG. De plus, plusieurs mesures permettant de quantifier l'activité cérébrale sont exploitées et comparées : la puissance spectrale, la cohérence et la synchronie de phase. Nos résultats montrent que la reconstruction préalable de l'activité corticale par problème inverse, ainsi que l'utilisation de mesures d'interaction à distance permettent d'améliorer les performances du dispositif.

Les neurosciences computationnelles ont permis de développer des outils mathématiques et informatiques permettant la création, puis la simulation de modèles représentant le comportement de certaines composantes de notre cerveau à l’échelle cellulaire. Ces derniers sont utiles dans la compréhension des interactions physiques et biochimiques entre les différents neurones, au lieu d’une reproduction fidèle des différentes fonctions cognitives comme dans les travaux sur l’intelligence artificielle. La construction de modèles décrivant le cerveau dans sa globalité, en utilisant une homogénéisation des données microscopiques est plus récent, car il faut prendre en compte la complexité géométrique des différentes structures constituant le cerveau. Il y a donc un long travail de reconstitution à effectuer pour parvenir à des simulations. D’un point de vue mathématique, les différents modèles sont décrits à l’aide de systèmes d’équations différentielles ordinaires, et d’équations aux dérivées partielles. Le problème majeur de ces simulations vient du fait que le temps de résolution peut devenir très important, lorsque des précisions importantes sur les solutions sont requises sur les échelles temporelles mais également spatiales. L’objet de cette étude est d’étudier les différents modèles décrivant l’activité électrique du cerveau, en utilisant des techniques innovantes de parallélisation des calculs, permettant ainsi de gagner du temps, tout en obtenant des résultats très précis. Quatre axes majeurs permettront de répondre à cette problématique : description des modèles, explication des outils de parallélisation, applications sur deux modèles macroscopiques
Computational Neuroscience helped develop mathematical and computational tools for the creation, then simulation models representing the behavior of certain components of our brain at the cellular level. These are helpful in understanding the physical and biochemical interactions between different neurons, instead of a faithful reproduction of various cognitive functions such as in the work on artificial intelligence. The construction of models describing the brain as a whole, using a homogenization microscopic data is newer, because it is necessary to take into account the geometric complexity of the various structures comprising the brain. There is therefore a long process of rebuilding to be done to achieve the simulations. From a mathematical point of view, the various models are described using ordinary differential equations, and partial differential equations. The major problem of these simulations is that the resolution time can become very important when important details on the solutions are required on time scales but also spatial. The purpose of this study is to investigate the various models describing the electrical activity of the brain, using innovative techniques of parallelization of computations, thereby saving time while obtaining highly accurate results. Four major themes will address this issue: description of the models, explaining parallelization tools, applications on both macroscopic models

Introduction. Les animaux et les humains sont capables de moduler leur propre activité cérébrale, pourvu que leur soit donné un retour sensoriel en temps-réel de celle-ci. La gamme des activités contrôlables s’étend des rythmes oscillatoires, à la réponse hémodynamique , au taux de décharge des neurones ou même au signal calcique associé aux potentiels d’action. Le contrôle volontaire des activités neuronales, facilité par le plan expérimental d’un paradigme en boucle fermée, est au cœur de l’interaction corps-esprit et peut être utilisé pour adresser des questions philosophiques. Mais comme de nombreuses études l’ont démontré, les interfaces homme-machine sont aussi un outil puissant dans la réhabilitation motrice, la gestion de la douleur, la régulation des émotions, ou encore l’amélioration de la mémoire. Étant donné que la plupart des études a été conduite sur les sujets humains avec des techniques non-invasives, les mécanismes neurophysiologiques de l’autorégulation neuronale sont restés mal connus. L’objectif principal de ce travail était donc d’élaborer une description des principes physiologiques sous-tendant cette technique.Objectifs. D’après la théorie des oscillations neuronales à des multiples niveaux, la présente enquête était principalement définie par les questions suivantes : 1) Quels sont les marqueurs physiologiques du contrôle volontaire des activités neuronales? 2) Existe t-il des échelles spatiotemporelle plus facilement modulables que d’autres? 3) Les effets de l’entrainement sont –ils spécifiques ou généralisables en espace et fréquence ? et 4) Quelles sont les stratégies cognitives efficace pour contrôler les activités oscillatoires parmi plusieurs sujets ? Pour adresser ces questions, dans mon travail j’ai utilisé les enregistrements intracérébraux avec des macro- et micro-électrodes chez les patients épileptiques dans le cadre d’un bilan pré-chirurgical
Introduction. Animals and humans are capable to modulate their own brain activity if they are provided with real-time sensory feedback thereof. The range of controllable neural activities reaches from oscillatory brain rhythms, over hemodynamic response function to the firing of single neurons or even action-potential associated calcium signals. The voluntary control of neural activity facilitated by this ‘closed-loop’ experimental paradigm is at the very heart of the mind-body interaction and can be used to address philosophical questions. But as numerous successful applications of neurofeedback and brain-computer interfaces have demonstrated, it is also a powerful tool in motor rehabilitation, pain management, emotion regulation or memory improvement. Because most previous studies were conducted on humans using non-invasive recordings techniques, the neurophysiological mechanisms of neural self-regulation remained obscure. The main objective of the present work was thus to provide a better understanding of its underlying principles. Objectives. Following a multiscale theoretical framework of neural oscillations, the present investigation was largely guided by the following questions: 1) What are the physiological markers of successful control? 2) Are some regions or spatiotemporal scales more easily controllable than others? 3) Are training effects specific or generalized? and 4) What are subject-invariant successful cognitive strategies of neural self-control? To address these questions, we took advantage of intracerebral macro- and micro-electrode recordings in epileptic patients undergoing long-term monitoring in the presurgical context

Cette thèse vise à décrire la conception, la mise en œuvre et la validation des interfaces cerveau-machine cognitives (ICMc). Le chapitre 1 introduit les ICMc et la métastabilité cérébrale. Dans le chapitre 2, une fonction cognitive spécifique (la mémoire de travail) est sélectionnée pour construire une ICMc. Dans le chapitre 3, nous explorons l'utilisation des propriétés spatio-temporelles de la dynamique cérébrale pour construire des biomarqueurs pour les ICMc, et nous abordons des questions scientifiques concernant la métastabilité cérébrale induite par la cognition. L’ICMc décrite au chapitre 2 surveille la charge de la mémoire de travail (MT) en temps réel et de façon continue. Les applications peuvent aller de l’apprentissage à la sécurité dans des environnements industriels. À notre connaissance, il s'agit de la première recherche sur les ICMc dans laquelle différents éléments clés sont simultanément inclus: des tests en temps réel, une tâche croisée, un démêlage des facteurs de confusion moteurs et cognitifs, et une validation neurophénoménologique. Dans le chapitre 3, nous développons un cadre empirique pour étudier la structure spatio-temporelle des changements d'états cérébraux issus de la cognition, avec deux objectifs spécifiques. Premièrement, d’identifier et d’utiliser des patrons d’activité cérébrale induits par la cognition comme descripteurs dans les ICMc. Deuxièmement, d’investiguer comment le cerveau s'auto-organise pour permettre à différentes régions de s'engager et de se désengager dans le cadre de la cognition. Nous proposons et validons comme biomarqueurs un ensemble de variables affectées spatialement et temporellement par des états cognitifs
This thesis aims at describing in detail the design, implementation and validation of cognitive brain-computer interfaces (cBCI). Chapter 1 introduces cBCI design and brain metastability. In Chapter 2, a specific cognitive function (Working Memory) is selected for the construction of a cBCI. In Chapter 3, we explore the use of spatio temporal properties of brain dynamics as biomarkers for cBCIs, and we address scientific questions concerning cognition-driven brain metastability. The BCI described in Chapter 2 continuously monitors Working Memory (WM) load in real-time. It relies on spectral properties of EEG as biomarkers. The applications may range from improved learning to security in industrial environments. To our knowledge, this represents the first cBCI research in which different key elements are included simultaneously: real-time tests, a cross-task, disentanglement of motor and cognitive confounders and neurophenomenological validation. In Chapter 3, we develop a data-driven framework for studying the spatio temporal structure of brain state switches under cognition, with two specific objectives. First, to identify and utilise patterns of brain activity elicited by cognition as descriptors in cBCIs. Second, to investigate how the brain self-organizes allowing different regions to engage and disengage in joint activity in a manner driven by cognition. Assuming brain metastability (in the context of statistical physics), we propose a set of local variables that are expected to be spatially and temporarily affected by cognitive states. We correlate these variables with cognitive conditions, such as high-WM load, Alzheimer disease, and positive emotional valence

En els últims anys s’han produït desenvolupaments tecnològics innovadors en el camp dels implants neuronals per a aplicacions mèdiques. La comprensió de el cervell humà es considera com un dels majors reptes científics del nostre temps; com a conseqüència, estem sent testimonis d’una intensificació de la investigació en el desenvolupament de les interfícies cervell-màquina (IMC) per llegir i estimular l’activitat cerebral. No obstant això, els implants neuronals actualment disponibles ofereixen una eficàcia clínica modesta, en part a causa de les limitacions que plantegen la invasivitat dels materials. Aquests materials comprometen la resolució de la interfície, el rendiment i l’estabilitat a llarg termini dels implants. El desenvolupament d’una electrònica flexible que utilitzi materials biocompatibles és clau per al desenvolupament d’implants neuronals mínimament invasius, que puguin implantar-se de forma crònica. Un camp d’investigació molt prometedor, és l’ús de materials bidimensionals, com el grafè, per a aplicacions bioelectròniques. El transistor d’efecte de camp en solució de grafè (gSGFET) és una de d’aquestes noves tecnologies neuronals emergents. Aquests dispositius poden superar les limitacions esmentades anteriorment gràcies a les extraordinàries propietats del grafè, com ara la seva alta flexibilitat mecànica, estabilitat electroquímica, biocompatibilitat i alta sensibilitat. En aquesta tesi doctoral, s’han fabricat matrius de gSGFET i s’han optimitzat iterativament en termes de sensibilitat i relació senyal / soroll, adoptant mètodes de microfabricació a escala d’oblia. S’ha caracteritzat el soroll 1 / f en els gSGFETs i s’ha optimitzat amb un tractament UVO de la interfície metall / grafè i desacoblant el grafè del substrat utilitzant diferents nanomaterials com ara l’encapsulació del grafè amb nitrur de bor hexagonal (hBN), monocapes autoacoblades i grafè bicapa. A més, s’han fabricat amb èxit sondes neuronals epicorticals i intracorticals flexibles, que contenien matrius de gSGFET, i s’han fet enregistraments de microelectrocorticografia in vivo en rosegadors. S’han inserit dispositius intracorticals flexibles en el cervell utilitzant un protocol de reforç de la capa posterior del dispositiu amb proteïna de fibroïna de seda biorresistent. Els resultats presentats en aquesta tesi demostren la superior resolució espai-temporal dels gSGFET en comparació amb la tecnologia estàndard de microelèctrodes; en particular, la capacitat de mapejar amb alta fidelitat, l’activitat de molt baixa freqüència (ISA, <0,1 Hz) juntament amb els senyals en el típic ample de banda dels LFP. Avui dia se sap que l’activitat cerebral de molt baixa freqüència, contribueix a la fisiopatologia de diversos trastorns neurològics com el vessament cerebral, la lesió cerebral traumàtica, la migranya i l’epilèpsia. No obstant això, aquesta activitat rares vegades es registra a causa de les limitacions tècniques intrínseques dels elèctrodes convencionals acoblats a la CA. S’han obtingut mesures neuronals amb sondes de profunditat flexibles i multicanal de grafè (gDNP) en models animals desperts amb convulsions i epilèpsia. S’ha detectat i cartografiat l’AIS a través de diferents capes corticals i regions subcorticals, registrant simultàniament l’activitat epilèptica en bandes de freqüència més convencionals (1-600Hz). A més, com a part d’aquesta tesi s’ha demostrat també l’estabilitat i funcionalitat de registres a llarg termini, així com la biocompatibilitat dels gDNPs. La tecnologia bioelectrònica basada en grafè aquí descrita té el potencial d’esdevenir una eina de referència per a l’electrofisiologia d’ample de banda complet. Es preveu que aquesta tecnologia tingui un gran impacte en una comunitat àmplia i multidisciplinària que inclogui investigadors en neurotecnologia, enginyers biomèdics, neurocientífics que estudien la dinàmica cortical de banda ampla associada amb el comportament espontani i /o els estats cerebrals, així com investigadors clínics interessats en el paper de l’activitat de molt baixa freqüència en epilèpsia, els accidents cerebrovasculars i la migranya.
En los últimos años se han producido nuevos desarrollos tecnológicos en el campo de los implantes neuronales para aplicaciones médicas. La comprensión del cerebro humano se considera uno de los mayores desafíos científicos de nuestro tiempo; como consecuencia, estamos siendo testigos de una intensificación de la investigación en el desarrollo de las interfaces cerebro-máquina (IMC) para leer y estimular la actividad cerebral. No obstante, los implantes neuronales actualmente disponibles ofrecen una eficacia clínica modesta, en parte debido a las limitaciones que plantea la invasividad de los materiales. Esos materiales comprometen la resolución de la interfaz, el rendimiento y la estabilidad a largo plazo de los implantes neurales. El desarrollo de una electrónica flexible que utilice materiales biocompatibles es clave para la realización de implantes neuronales mínimamente invasivos que puedan implantarse de forma crónica. Un campo de investigación muy prometedor es el uso de materiales bidimensionales, como el grafeno, para aplicaciones bioelectrónicas. El transistor de efecto de campo en solución de grafeno (gSGFET) es una de dichas nuevas tecnologías neurales emergentes. Estos dispositivos pueden superar las limitaciones mencionadas anteriormente gracias a las extraordinarias propiedades del grafeno, como su alta flexibilidad mecánica, estabilidad electroquímica, biocompatibilidad y sensibilidad. En esta tesis doctoral, se han fabricado matrices de gSGFET y se han optimizado iterativamente en términos de sensibilidad y relación señal/ruido, adoptando métodos de microfabricación a escala de oblea. Se ha caracterizado el ruido 1/f en los gSGFETs y optimizado haciendo un tratamiento UVO en la interfaz metal/grafeno y desacoplando el canal de grafeno del sustrato utilizando diferentes nanomateriales como la encapsulación con nitruro de boro hexagonal (hBN), monocapas autoensambladas y bicapas de grafeno. Además, se han fabricado con éxito sondas neurales epicorticales e intracorticales flexibles con matrices de gSGFET y se han utilizado durante las medidas de microelectrocorticografía in vivo en roedores. Se han insertado dispositivos intracorticales flexibles en el cerebro utilizando un protocolo de refuerzo de la capa posterior de los dispositivos con proteína de fibroína de seda biorresistente. Los resultados presentados en esta tesis demuestran la superior resolución espacio-temporal de los gSGFET en comparación con la tecnología estándar de microelectrodos; en particular, referente a la capacidad de mapear con alta fidelidad, la actividad de muy baja frecuencia (ISA, < 0,1 Hz) junto con las señales en el típico ancho de banda LFP. Hoy en día se sabe que la actividad cerebral de muy baja frecuencia, contribuye a la fisiopatología de varios trastornos neurológicos como el derrame cerebral, la lesión cerebral traumática, la migraña y la epilepsia. Sin embargo, esta actividad rara vez se registra debido a las limitaciones técnicas intrínsecas de los electrodos convencionales acoplados a la CA. Se han obtenido registros con sondas neuronales de profundidad de grafeno (gDNP) en modelos animales de epilepsia. Se detectó ISA a través de diferentes capas corticales y regiones subcorticales, registrando simultáneamente la actividad epiléptica en bandas de frecuencia más convencionales (1-600Hz). Además, se ha demostrado también la evaluación de la estabilidad y funcionalidad en registros crónicos, así como la biocompatibilidad del gDNP. La tecnología bioelectrónica basada en el grafeno aquí descrita tiene el potencial de convertirse en una herramienta de referencia para la electrofisiología de ancho de banda completo. Se prevé que esta tecnología tenga un gran impacto en una comunidad amplia y multidisciplinaria que incluya investigadores en neurotecnología, ingenieros biomédicos, neurocientíficos que estudien la dinámica cortical de banda ancha asociada con el comportamiento espontáneo y/o los estados cerebrales, así como investigadores clínicos interesados en la actividad de baja frecuencia en la epilepsia, los accidentes cerebrovasculares y la migraña.
Recent years have witnessed novel technology developments of neural implants for medical applications which are expected to pave the way to unveil functionalities of the central nervous system. Understanding the human brain is commonly considered one of the biggest scientific challenges of our time; as a consequence, we are witnessing an intensified research in the development of brain-machine-interfaces (BMIs), which would allow us to both read and stimulate brain activity. Nevertheless, currently available neural implants offer a modest clinical efficacy, partly due to the limitations posed by the invasiveness of the implants materials and technology and by the metals used at the electrical interface with the tissue. Such materials compromise the interfacing resolution, the performance and the long term stability of neural implants. Development of flexible electronics using biocompatible materials is key for the realisation of minimally invasive neural implants, which can be chronically implanted without causing rejection from the immune system. A relatively young yet very promising research field, that is increasingly drawing attention is the use of two dimensional materials, such as graphene, for bioelectronic applications. Graphene solution-gated field effect transistor (gSGFET) is one of several emerging new neural technologies. These devices can overcome the above-mentioned limitations thanks to the outstanding properties of graphene, such as mechanical flexibility, electrochemical inertness, biocompatibility and high sensitivity. In this PhD thesis, arrays of gSGFETs have been fabricated and iteratively optimized in terms of sensitivity and signal-to-noise ratio, adopting wafer-scale micro-fabrication methods. The 1/f noise in gSGFETs has been characterised and the optimisation of both, contact and channel noises was achieved by UVO-treatment at the metal/graphene interface, as well as by decoupling the graphene channel from the substrate, using different nanomaterials such as graphene encapsulation with hexagonal boron nitride (hBN), self assembled monolayers and double transferred graphene. Moreover, flexible and ultra-thin epicortical and intracortical neural probes, containing arrays of gSGFETs, have been successfully fabricated and used during in vivo microelectrocorticography recordings in anaesthesized and awake rodents. Flexible intracortical devices were inserted into the brain using a back-coating stiffening protocol with bioresobable silk fibroin protein, developed during this PhD thesis. The results presented in this PhD demonstrate the superior spatio-temporal resolution of gSGFETs compared to standard microelectordes technology; particularly the ability to map with high fidelity, infraslow activity (ISA, < 0.1 Hz) together with signals in the typical local field potential bandwidth. Today it is known that infraslow brain activity, including spreading depolarisations, contribute to the pathophysiology of several neurological disorders such as stroke, traumatic brain injury, migraine and epilepsy. However, this activity is seldom recorded due to intrinsic technical limitations of conventional AC-coupled electrodes. To demonstrate the usefulness of the developed flexible gSGFET arrays technology, recordings have been obtained with multichannel flexible graphene depth neural probes (gDNP) in relevant awake animal models of seizures and established epilepsy. ISA was detected and mapped through different cortical layers and subcortical regions, whilst simultaneously recording epileptiform activity in more conventional frequency bands (1-600Hz). Furthermore, the assessment of the long term recording stability and functionality, as well as biocompatibility of the gDNP has also been demonstrated as part of this thesis. The graphene based bioelectronic technology here described has the potential to become a gold standard tool for full bandwidth electrophysiology. This technology is envisioned to have a great impact on a broad and multidisciplinary community including neurotechnology researchers, biomedical engineers, neuroscientists studying wide-band cortical dynamics associated with spontaneous behaviour and/or brain states, as well as clinical researchers interested in the role of infraslow activity in epilepsy, stroke and migraine.

Les neurobiohybrides sont des systèmes composés d'un élément artificiel, d'une composante vivante et de l'interface qui les relie. Ces puissants outils permettent de connecter de manière fonctionnelle des éléments électroniques et des structures neuronales in vitro comme in vivo. De nombreux systèmes neurobiohybrides, plus communément appelés neuroprothèses, sont utilisés en médecine pour améliorer la qualité de vie de patients atteints de handicaps (surdité, déficits visuels, paralysie) en leur permettant de recouvrer partiellement les fonctions physiologiques perdues. Les neuroprothèses actuelles sont unidirectionnelles (elles stimulent OU enregistrent l'activité des neurones ciblés) et sont particulièrement énergivores. Intégrer une boucle de rétroaction de sorte que ces systèmes communiquent en temps réel de manière bidirectionnelle avec le tissu nerveux améliorerait leur efficacité tout en élargissant leur potentiel thérapeutique à d'autres conditions pathologiques. La principale difficulté à lever pour permettre l'établissement d'une telle boucle consiste à trouver un système de traitement de signal autonome et suffisamment miniaturisé. En 2017, le groupe Circuits Systèmes Applications des Micro-ondes (CSAM) de l'Institut d'Electronique, de Microélectronique et de Nanotechnologies (IEMN) de Lille a publié un neurone artificiel ultra-efficace en termes de consommation énergétique qui pourrait répondre à ces besoins. Ce neurone émet des potentiels d'action biomimétiques en termes de forme, d'amplitude et de fréquence des signaux émis, et fonctionne de manière entièrement analogique. Dans un précédent doctorat, il a été démontré que ces potentiels d'action biomimétiques permettent bien de stimuler l'activité électrique de neurones vivants. Les travaux présentés ici font suite à cette démonstration et visent à établir une boucle de communication bidirectionnelle complète entre des neurones vivants et ces neurones artificiels. Dans cet objectif, trois axes principaux de travail ont été définis : 1- Optimiser le design et la technologie d'une interface neurobiohybride ; 2- Sélectionner et caractériser de manière morphologique et fonctionnelle des modèles cellulaires vivants maintenus in vitro ; 3- Etablir une première boucle de communication bidirectionnelle entre ces neurones vivants et les neurones artificiels par le biais de l'interface neurobiohybride. Ce manuscrit présente les étapes de fabrication et d'optimisation de l'interface dont la surface a été travaillée pour optimiser les conditions d'enregistrement en milieu électrolytique, notamment par l'ajout d'une couche de passivation isolant les lignes d'accès et un développement de méthodes afin d'optimiser le positionnement des cellules sur les électrodes. Les cellules électriquement actives choisies pour cette démonstration (cellules endocrines hypophysaires murines GH4C1 (lignée établie) et neurones glutamatergiques humains dérivés de cellules souches pluripotentes induites) ont été caractérisées par patch-clamp, imagerie par fluorescence et imagerie calcique. Les premiers enregistrements de l'activité électrique de cellules GH4C1 cultivées dans une interface neurobiohybride ont été réalisés sur un banc d'enregistrement électronique conçu et optimisé au sein du laboratoire pour une détection de signaux de très faible amplitude. Ces travaux sont accompagnés par le développement d'un modèle électrique implémenté sous le logiciel LTSPICE intégrant le signal électrique émis par des cellules GH4C1 et enregistré via l'interface neurobiohybride. Ce faisant, il est possible d'établir une boucle de communication bidirectionnelle entre des neurones vivants et artificiels. En conclusion, ce travail permet d'ouvrir la voie vers une nouvelle génération de neuroprothèses bidirectionnelles
Neurobiohybrids are systems composed of an artificial element, a living component and their interface. These powerful tools enable the functional connection of electronic elements and neuronal structures both in vitro and in vivo. Many neurobiohybrid systems, more commonly known as neuroprostheses, are used in medicine to improve the quality of life of patients with disabilities (deafness, visual impairment, paralysis) by enabling them to recover, at least partly, lost physiological functions. Current neuroprostheses are unidirectional (they stimulate OR record the activity of targeted neurons) and are particularly energy-intensive. Integrating a feedback loop into these systems so that they could communicate bidirectionally in real time with nerve tissues would improve their efficiency and effectiveness, while broadening the range of their therapeutic potential. The main difficulty to overcome for enabling such a loop is to find an autonomous and sufficiently miniaturized signal processing system. In 2017, the Circuits Systèmes Applications des Micro-ondes (CSAM) group at Lille's Institute of Electronics, Microelectronics and Nanotechnologies (IEMN) published an ultra-efficient artificial neuron in terms of energy consumption that could meet these needs. This neuron generates biomimetic action potentials of similar shape, amplitude and frequency compared to living neurons, and is entirely analog. In a previous PhD work, it was shown that such biomimetic action potentials can trigger electric activity in living neurons. Following this demonstration, the present work aims to establish the proof-of-concept of the complete bidirectional communication loop between living neurons and these artificial neurons. To reach this goal, three main objectives were set: 1- Optimize the design and technology of a neurobiohybrid interface; 2- Select living cells for in vitro use and characterize them both morphologically and functionally; 3- Establish a first bidirectional communication loop between these living neurons and artificial neurons through the neurobiohybrid interface. This manuscript presents the manufacturing and optimization steps of the interface, whose surface has been enhanced to optimize recording conditions in an electrolytic environment, notably by adding a passivation layer to isolate the access lines and by developing methods to optimize cell position on the electrodes. The electrically active cells chosen for this demonstration (murine pituitary endocrine GH4C1 cells, an established cell line, and human glutamatergic neurons derived from induced pluripotent stem cells) were characterized by patch-clamp, fluorescence imaging and calcium imaging. The first recordings of the electrical activity of GH4C1 cells grown in a neurobiohybrid interface were carried out on an electronic recording bench designed and optimized in-house for detecting very low amplitude signals. This work also led to the development of an electrical model implemented in LTSPICE software, integrating electrical signals emitted by GH4C1 cells as recorded through the neurobiohybrid interface. This enabled the establishment of a bidirectional communication loop between living and artificial neurons. To conclude, this work opens the way to a new generation of bidirectional neuroprostheses

L'identification du codage neuronal dans le thalamus et le cortex cérébral, et en particulier dans l'aire visuelle primaire, se heurte à la complexité du réseau neuronal qui repose sur une diversité étonnante des neurones, sur les plans morphologique, biochimique et électrique, et de leurs connexions synaptiques. À cela s'ajoute une importante diversité des propriétés fonctionnelles de ces neurones reflétant en grande partie la forte récurrence des connexions synaptiques au sein des réseaux corticaux ainsi que la boucle cortico-thalamo-corticale. En d'autres termes, le calcul global effectué dans le réseau thalamo-cortical influence, via des milliers de connexions synaptiques excitatrices et inhibitrices, la spécificité de la réponse de chaque neurone. Dans une première partie, nous avons développé un modèle de bombardement synaptique contextuel reproduisant la dynamique de milliers de synapses excitatrices et inhibitrices convergeant vers un neurone cortical avec l'avantage de pouvoir paramétrer le niveau de synchronisation des synapses afférentes. Nous montrons que le niveau de synchronisation synaptique est relié au taux de corrélation de l'activité neuronale sous-liminaire dans le cortex visuel du chat, avec d'une part un régime où le codage neuronal est très redondant pour des stimulations artificielles classiquement utilisées du type réseau de luminance sinusoïdale, et d'autre part un régime où le codage neuronal est beaucoup plus riche présentant moins de corrélation neuronale pour des stimulations naturelles. Ces résultats indiquent que le taux de corrélation de l'activité neuronale sous-liminaire est un indicateur fonctionnel du régime de codage dans lequel est engagé le cortex cérébral. Dans une seconde partie, nous avons étendu l'exploration du codage neuronal au thalamus, passerelle principale qui transmet les informations sensorielles en provenance de la périphérie vers le cortex cérébral. Le thalamus reçoit un fort retour cortico-thalamique qui résulte du calcul global effectué par les aires corticales. Nous avons étudié son influence en modélisant une voie retino-thalamo-corticale mixant neurones artificiels et neurones biologiques in vitro dans laquelle un bombardement synaptique d'origine corticale est mimé via l'injection de conductances stochastiques excitatrices et inhibitrices en clamp dynamique. Cette approche confère l'avantage de pouvoir contrôller individuellement chacun des neurones thalamiques dans la voie artificielle. Nous montrons qu'un processus de facilitation stochastique à l'échelle de la population s'adjoint au gain cellulaire classique pour contrôler le transfert de l'information sensorielle de la rétine au cortex visuel primaire. Ce processus de facilitation stochastique, qui n'aurait pas pu être discerné à l'échelle de la cellule individuelle, est gouverné par le taux de corrélation inter-neuronale de l'activité neuronale dans le thalamus. À l'inverse des conceptions classiques, -un fort taux de décorrélation- optimise le transfert sensoriel de la rétine au cortex en favorisant la synchronisation des afférences synaptiques. Nous suggérons qu'une décorrélation induite par les aires corticales pourrait augmenter l'efficacité du transfert pour certaines assemblées cellulaires dans le thalamus, constituant ainsi un mécanisme attentionnel à l'échelle des circuits thalamo-corticaux. En parallèle, nous avons développé une méthode d'extraction des fluctuations des conductances synaptiques des neurones à partir d'enregistrements intracellulaires unitaires. Cette méthode devrait permettre de raffiner nos connaissances sur la nature des contextes synaptiques dans lesquels sont immergés les neurones avec des retombées potentielles sur le développement de nouveaux modèles de bombardements synaptiques. En conclusion, nos travaux confirment l'hypothèse d'un codage neuronal basé sur la synchronisation synaptique conditionnée par le niveau de corrélation de l'activité neuronale. Nos travaux sont cohérents avec de nombreuses études sur les processus attentionnels et suggèrent que des mécanismes de corrélation et décorrélation actives, ainsi que des activités oscillatoires, pourraient réguler le transfert de l'information entre les organes sensoriels et les aires corticales.

La tecnologia d’implants neuronals en medicina té com a objectiu restaurar la funcionalitat del sistema nerviós en casos de degeneració o dany greu registrant o estimulant l’activitat elèctrica del teixit nerviós. Els implants neuronals disponibles actualment ofereixen una eficàcia clínica modesta, en part a causa de les limitacions que tenen els metalls utilitzats en la interfície elèctrica amb el teixit. Aquests materials comprometen la resolució de la interfície i, per tant, la restauració funcional amb el rendiment i l’estabilitat. En aquest treball presento uns implants neuronals flexibles basats en una pel·lícula prima de grafè porós nanoestructurat i biocompatible que proporciona una interfície neural bidireccional estable i d’alt rendiment. En comparació amb els dispositius de microelectrodos de platí estàndard, elèctrodes de 25 μm de diàmetre basats en grafè ofereixen una impedància significativament menor i poden injectar de manera segura 200 vegades més càrrega durant més de 100 milions de polsos. N’evaluo les seves capacitats in vivo registrant activitat epicortical amb alta fidelitat i alta resolució, estimulant subconjunts d’axons dins del nervi ciàtic amb llindars de corrent baixos i alta selectivitat i modulant l’activitat de la retina amb alta precisió. La tecnologia de pel·lícula fina de grafè aquí descrita té el potencial de convertir-se en el nou punt de referència per la pròxima generació de tecnologia d’implants neuronals.
La tecnología de implantes neuronales en medicina tiene como objetivo restaurar la funcionalidad del sistema nervioso en casos de degeneración o daño grave registrando o estimulando la actividad eléctrica del tejido nervioso. Los implantes neurales disponibles actualmente ofrecen una eficacia clínica modesta, en parte debido a las limitaciones que plantean los metales utilizados en la interfaz eléctrica con el tejido. Dichos materiales comprometen la resolución de la interfaz y, por lo tanto, la restauración funcional con el rendimiento y la estabilidad. En este trabajo presento unos implantes neuronales flexibles basados en una película delgada de grafeno poroso nanoestructurado y biocompatible que proporciona una interfaz neural bidireccional estable y de alto rendimiento. En comparación con los dispositivos de microelectrodos de platino estándar, electrodos de 25 μm de diámetro basados en grafeno ofrecen una impedancia significativamente menor y pueden inyectar de forma segura 200 veces más carga durante más de 100 millones de pulsos. Aquí evaluo sus capacidades in vivo registrando actividad epicortical con alta fidelidad y alta resolución, estimulando subconjuntos de axones dentro del nervio ciático con umbrales de corriente bajos y alta selectividad y modulando la actividad de la retina con alta precisión. La tecnología de película fina de grafeno aquí descrita tiene el potencial de convertirse en el nuevo punto de referencia para la próxima generación de tecnología de implantes neuronales.
Neural implants technology in medicine aims to restore nervous system functionality in cases of severe degeneration or damage by recording or stimulating the electrical activity of the nervous tissue. Currently available neural implants offer a modest clinical efficacy partly due to the limitations posed by the metals used at the electrical interface with the tissue. Such materials compromise interfacing resolution, and therefore functional restoration, with performance and stability. In this work, I present flexible neural implants based on a biocompatible nanostructured porous graphene thin film that provides a stable and high performance bidirectional neural interface. Compared to standard platinum microelectrode devices, the graphene-based electrodes of 25 μm diameter offer significantly lower impedance and can safely inject 200 times more charge for more than 100 million pulses. I assessed their performance in vivo by recording high fidelity and high resolution epicortical activity, by stimulating subsets of axons within the sciatic nerve with low thresholds and high selectivity and by modulating the retinal activity with high precision. The graphene thin film technology I describe here has the potential to become the new performance benchmark for the next generation of neural implant technology.
Universitat Autònoma de Barcelona. Programa de Doctorat en Enginyeria Electrònica i de Telecomunicació

El descobriment experimental del grafè el 2004 va suposar l’aparició d’un nou camp de recerca basat en materials bidimensionals, que investiga les seves propietats per a aplicacions en electrònica, fotònica i optoelectrònica i, recentment, també en tecnologia biomèdica. La neurotecnologia en particular, és un tema que podria beneficiar-se fortament d’aquests nous materials, ja que la seva naturalesa mecànica i química els permet formar una interfície estable i adaptable a la topologia del cervell. El transistor de grafè de porta liquida (gSGFET) és un dels diversos dispositius de detecció emergents que utilitzen materials prims i ha demostrat un gran potencial per a les interfícies cervell-màquina (BMIs), ja que és capaç de registrar l’activitat neuronal amb alta precisió. Històricament s’han utilitzat els elèctrodes per a aquesta aplicació, ja que són fàcils de fabricar i els senyals enregistrats es poden adquirir mitjançant tècniques de lectura senzilles. En els darrers anys, però, s’ha trobat que l’ús de transistors es beneficiós per a aplicacions específiques, ja que també son capaços de registrar l’activitat oscil·latòria lenta, que encara està en la seva majoria inexplorada. A més, els transistors permeten construir matrius de sensors amb un gran nombre de llocs de gravació, ja que, al contrari que els elèctrodes, no cal combinar-los amb components electrònics addicionals per permetre esquemes d’adreçament sofisticats, facilitant així la complexitat tecnològica de la fabricació d’aquestes matrius. L’elevat soroll intrínsec del sensor continua sent un problema crític en electrofisiologia a causa de la petita amplitud dels senyals neuronals a la superfície de l’escorça cerebral. La naturalesa geomètrica del grafè i d’altres materials bidimensionals els exposa a influències degradants del seu entorn i fa difícil crear interfícies d’alta qualitat amb aquests materials. Això condueix, per exemple, a un augment del soroll de baixa freqüència del gSGFET, que contamina la banda de freqüències d’interès per als enregistraments neuronals. Per tant, com a primer pas cap al desenvolupament d’un conjunt de sensors neuronals d’alta qualitat, en el capítol 3 s’exploren les millores tecnològiques que permeten reduir aquest soroll intrínsec del dispositiu. A continuació es descriu la fabricació i caracterització de interfícies neuronals de alta densitat, fins a 1000 gSGFET sensors sobre substrat flexible. Com que la mida del connector que augmenta directament amb el nombre de sensors, aquest imposa restriccions en el numero i la densitat de llocs de gravació assolibles a la matriu. D’aquesta forma, els esquemes de lectura multiplexada compatibles amb la tecnologia gSGFET són de vital importància. La multiplexació permet la combinació de múltiples fluxos d’informació en un sol senyal i, per tant, permetria superar les limitacions de connectivitat de les BMIs actuals. Més concretament, en al capítol 4 es presenta la compatibilitat de la tecnologia gSGFET amb els dos esquemes més comuns de lectura de dades multiplexades, la divisió de freqüències i la divisió de temps. En última instància, en el capítol 5 s’explora la integració monolítica de circuits de adreçament a la matriu de sensors flexibles, ja que això evitaria l’acoblament entre llocs que pot degradar greument la fidelitat del senyal enregistrat en grans matrius de sensors multiplexats. Per a aquest propòsit, es suggereix l’ús dels materials de “transition-metall-dichalcogenides” de dues dimensions (per exemple, MoS2), ja que combinen la flexibilitat mecànica amb una banda prohibida àmplia, necessària per obtenir transistors d’efecte de camp amb altes relacions encès / apagat. Un conjunt híbrid de sensors gSGFET / MoS2-FET amb funcionalitat de lectura multiplexada es presenta com a primer prototip cap a una nova generació de BMIs i es presenta un full de ruta per a l’ampliació de la tecnologia.
El descubrimiento experimental del grafeno en 2004 marcó el nacimiento de un nuevo campo de investigación basado en materiales bidimensionales, investigando sus propiedades para aplicaciones en electrónica, fotónica y optoelectrónica y, recientemente, también en tecnología biomédica. El transistor de puerta liquida basado en grafeno (gSGFET) es uno de los dispositivos de detección emergentes que utilizan materiales delgados, y que ha demostrado un gran potencial para las interfaces cerebro-máquina (BMIs), ya que es capaz de registrar con alta precisión la actividad neuronal. Históricamente, se han utilizado electrodos para tal aplicación, ya que son fáciles de fabricar y las señales grabadas se pueden adquirir usando técnicas simples de lectura. En los últimos años, sin embargo, se descubrió que el uso de sensores con un diseño de transistor es beneficioso para aplicaciones específicas, ya que también son capaces de registrar la actividad oscilatoria lenta, que todavía está en su mayoría inexplorada. Además, los transistores permiten construir matrices de sensores con una gran cantidad de sitios de grabación, ya que, a diferencia de los electrodos, no es necesario combinarlos con componentes electrónicos adicionales para permitir esquemas de direccionamiento sofisticados, lo que alivia en gran medida la complejidad tecnológica de fabricar estas matrices. El alto ruido intrínseco del sensor sigue siendo un problema crítico en electrofisiología debido a la pequeña amplitud de las señales neuronales en la superficie de la corteza. La naturaleza geométrica del grafeno y otros materiales bidimensionales los expone a influencias degradantes de su entorno y dificulta la creación de interfaces de alta calidad con dichos materiales. Esto conduce, por ejemplo, a un aumento de ruido de baja frecuencia en el gSGFET que contamina la banda de frecuencia de interés para los registros neuronales. Por lo tanto, como un primer paso hacia el desarrollo de una matriz de sensores neurales de alta calidad, en el capítulo 3 se exploran las mejoras tecnológicas que permiten reducir dicho ruido intrínseco del dispositivo. A continuación, se describe la fabricación y caracterización en sustrato flexible de matrices de sensores neurales de alta densidad, hasta 1000 gSGFET sensores. Dado que el tamaño del conector en aumenta directamente con el número de sensores, este impone restricciones en el recuento y en la densidad de los sitios de grabación que se pueden lograr en la matriz. De esta forma, los esquemas de lectura multiplexados compatibles con la tecnología gSGFET son de vital importancia. La multiplexación permite la combinación de múltiples flujos de información en una sola señal y, por lo tanto, permitiría superar las limitaciones de conectividad de las BMIs actuales. Más concretamente, en el capítulo 4 se presenta la compatibilidad de la tecnología gSGFET con los dos esquemas más comunes de lectura de datos multiplexados, la multiplexación por división de frecuencia y por división de tiempo. En última instancia, en el capítulo 5 se explora la integración monolítica de circuitos de direccionamiento en la matriz de sensores flexibles, ya que esto evitaría el acoplamiento entre sitios que puede degradar severamente la fidelidad de la señal grabada en grandes conjuntos de sensores multiplexados. Para este propósito, se sugiere el uso los materiales de “transition-metal-dichalcogenides” de dos dimensiones (por ejemplo, MoS2), ya que combinan la flexibilidad mecánica con una banda prohibida amplia, necesaria para obtener transistores de efecto de campo con altas relaciones encendido/apagado. Un conjunto de sensores híbridos gSGFET / MoS2-FET con funcionalidad de lectura multiplexada se presenta como un primer prototipo hacia una nueva generación de BMIs y se presenta una hoja de ruta para la ampliación de la tecnología.
The experimental discovery of graphene in 2004 marked the advent of a new research field based on two-dimensional materials, investigating their properties for applications in electronics, photonics and optoelectronics and, recently, also biomedical technology. Neurotechnology in particular, is a subject which could strongly benefit from these new materials, as their mechanical and chemical nature allow them to form a stable, conformable interface with the brain. The graphene solution-gated field-effect transistor (gSGFET) is one of several emerging sensing devices utilizing thin materials, and has shown great potential for brain-machine interfaces (BMIs), as it is able to record neural activity with high accuracy. Historically electrodes have been favored for such application, as they are easy to fabricate and the recorded signals can be acquired using simple read-out techniques. In recent years, however, the use of sensors with a transistor design was found to be beneficial for specific applications as they also unveil slow oscillatory activity, which is yet mostly unexplored. Moreover, transistors allow to construct sensor arrays with a large number of recording sites, since in contrary to electrodes they do not need to be combined with additional electronic components to enable sophisticated addressing schemes, thus strongly easing the technologic complexity of fabricating these arrays. High intrinsic sensor noise remains a critical issue in electrophysiology due to the small amplitude of neural signals on the surface of the cortex. The geometric nature of graphene and other two-dimensional materials exposes them to degrading influences from their surroundings and makes it challenging to create high-quality interfaces with such materials. This leads to, for example, augmented low-frequency noise in the gSGFET which contaminates the frequency band of interest for neural recordings. Thus, as a first step towards the development of a high quality neural sensor array, technological improvements which allow to lower such intrinsic device noise are explored in chapter 3. Next, the fabrication and characterization of high-density neural sensor arrays of above 1000 gSGFET sensors on flexible substrate is described. As a rapidly increasing size of the connector footprint with the number of sensors poses restrictions on the count and the density of recording sites achievable on the array, the compatibility of the gSGFET technology with multiplexed readout schemes is of critical importance. Multiplexing enable the combination of multiples streams of information into a single signal and would thereby allow to overcome connectivity limitations of the state-of-the-art BMIs. More concretely, the compatibility of the gSGFET technology with the two most common schemes of multiplexed data readout, namely frequency-division and time-division multiplexing, is presented in chapter 4. Ultimately, a monolithic integration of addressing circuitry into the flexible sensor array is explored in chapter 5, as this would prevent inter-site crosstalk which can severely degrade the fidelity of the recorded signal in large multiplexed sensor arrays. Two-dimension transition-metal-dichalcogenides (e.g. MoS2) are suggested for this purpose, as they combine mechanical flexibility with a wide bandgap necessary for building field-effect transistors with high on/off-ratios. A hybrid gSGFET/MoS2-FET sensor array with multiplexed readout functionality is showcased as a first prototype towards a new generation of BMIs and a roadmap for the technology's scale-up is presented.
Universitat Autònoma de Barcelona. Programa de Doctorat en Enginyeria Electrònica i de Telecomunicació

La nanomedicina è un campo emergente che propone l'applicazione di precisi nanomateriali ingegnerizzati per la prevenzione, la diagnosi e la terapia di patologie neurologiche progressive, quali di malattia di Alzheimer e morbo Parkinson. I nanotubi di carbonio (CNT) ed il grafene sono una nuova classe di nanomateriali, che ha dimostrato di essere promettente in diverse aree della nanomedicina. In questo elaborato, verrà proposta una rassegna dei più recenti lavori riguardanti lo studio della sintesi, sviluppo, fabbricazione e validazione di substrati e dispositivi basati sull’utilizzo di CNT e del grafene. In particolare, la ricerca è stata focalizzata sui dati in letteratura riguardanti lo sviluppo di interfacce neuronali nanostrutturate e alla possibile applicazione di questi stessi sia come matrici a supporto della rigenerazione del tessuto neuronale, sia come sistemi di somministrazione per la terapia di patologie degenerative del sistema nervoso centrale. Particolare attenzione è stata rivolta anche alle possibili tecniche di modificazione superficiale (funzionalizzazione) ed ai profili di tossicità e di biocompatibilità dei diversi materiali. I risultati sperimentali sinora ottenuti e qui raccolti dimostrano come grafene e CNT siano materiali, versatili e con proprietà chimico-fisiche promettenti per la generazione di interfacce neurali innovative. Tuttavia, studi più approfonditi e a lungo termine in modelli sperimentali specifici, potranno chiarire le riserve e le controversie ancora esistenti ed emergenti dai dati di biocompatibilità e tossicità in vitro e definire il potenziale impiego clinico di questi materiali nella medicina neurorigenerativa.

L’avenir de la recherche sur les maladies du cerveau repose sur le développement de nouvelles technologies qui permettront de comprendre comment cet organe si complexe traite, intègre et transfère l’information. Parmi celles-ci, l’optogénétique est une technologie révolutionnaire qui permet d’utiliser de la lumière afin d’activer sélectivement les neurones du cortex d’animaux transgéniques pour observer leur effet dans un vaste réseau biologique. Ce cadre expérimental repose typiquement sur l’observation de l’activité neuronale de souris transgéniques, car elles peuvent exprimer une grande variété de gènes et de maladies et qu’elles sont peu couteuses. Toutefois, la plupart des appareils de mesure ou de stimulation optogénétique disponible ne sont pas appropriés, car ils sont câblés, trop lourds et/ou trop simplistes. Malheureusement, peu de systèmes sans fil existent, et ces derniers sont grandement limités par la bande passante requise pour transmettre les données neuronales, et ils ne fournissent pas de stimulation optogénétique multicanal afin de stimuler et observer plusieurs régions du cerveau. Dans les dispositifs actuels, l’interprétation des données neuronales est effectuée ex situ, alors que la recherche bénéficierait grandement de systèmes sans fil assez intelligents pour interpréter et stimuler les neurones en boucle fermée, in situ. Le but de ce projet de recherche est de concevoir des circuits analogiques-numériques d’acquisition et de traitement des signaux neuronaux, des algorithmes d’analyse et de traitement de ces signaux et des systèmes electro-optiques miniatures et sans fil pour : i) Mener des expériences combinant l’enregistrement neuronal et l’optogénétique multicanal haute résolution avec des animaux libres de leurs mouvements. ii) Mener des expériences optogénétiques synchronisées avec l’observation, c.-à-d. en boucle fermée, chez des animaux libres de leurs mouvements. iii) Réduire la taille, le poids et la consommation énergétique des systèmes optogénétiques sans fil afin de minimiser l’impact de la recherche chez de petits animaux. Ce projet est en 3 phases, et ses principales contributions ont été rapportées dans dix conférences internationales (ISSCC, ISCAS, EMBC, etc.) et quatre articles de journaux publiés ou soumis, ainsi que dans un brevet et deux divulgations. La conception d’un système optogénétique haute résolution pose plusieurs défis importants. Notamment, puisque les signaux neuronaux ont un contenu fréquentiel élevé (_10 kHz), le nombre de canaux sous observation est limité par la bande passante des transmetteurs sans fil (2-4 canaux en général). Ainsi, la première phase du projet a visé le développement d’algorithmes de compression des signaux neuronaux et leur intégration dans un système optogénétique sans fil miniature et léger (2.8 g) haute résolution possédant 32 canaux d’acquisition et 32 canaux de stimulation optique. Le système détecte, compresse et transmet les formes d’onde des potentiels d’action (PA) produits par les neurones avec un field programmable gate array (FPGA) embarqué à faible consommation énergétique. Ce processeur implémente un algorithme de détection des PAs basé sur un seuillage adaptatif, ce qui permet de compresser les signaux en transmettant seulement les formes détectées. Chaque PA est davantage compressé par une transformée en ondelette discrète (DWT) de type Symmlet-2 suivie d’une technique de discrimination et de requantification dynamique des coefficients. Les résultats obtenus démontrent que cet algorithme est plus robuste que les méthodes existantes tout en permettant de reconstruire les signaux compressés avec une meilleure qualité (SNDR moyen de 25 dB _ 5% pour un taux de compression (CR) de 4.2). Avec la détection, des CR supérieurs à 500 sont rapportés lors de la validation in vivo. L’utilisation de composantes commerciales dans des systèmes optogénétiques sans fil augmente
la taille et la consommation énergétique, en plus de ne pas être optimisée pour cette application. La seconde phase du projet a permis de concevoir un système sur puce (SoC) complementary metal oxide semiconductor (CMOS) pour faire de l’enregistrement neuronal et de optogénétique multicanal, permettant de réduire significativement la taille et la consommation énergétique comparativement aux alternatives commerciales. Ceci est une contribution importante, car c’est la première puce à être doté de ces deux fonctionnalités. Le SoC possède 10 canaux d’enregistrement et 4 canaux de stimulation optogénétique. La conception du bioamplificateur inclut une bande passante programmable (0.5 Hz - 7 kHz) et un faible bruit referré à l’entré (IRN de 3.2 μVrms), ce qui permet de cibler différents types de signaux biologiques (PA, LFP, etc.). Le convertisseur analogique numérique (ADC) de type Delta- Sigma (DS) MASH 1-1-1 est conçu pour fonctionner de faibles taux de sur-échantillonnage (OSR _50) pour réduire sa consommation et possède une résolution programmable (ENOB de 9.75 Bits avec un OSR de 25). Cet ADC exploite une nouvelle technique réduisant la taille du circuit en soustrayant la sortie de chaque branche du DS dans le domaine numérique, comparativement à la méthode analogique classique. La consommation totale d’un canal d’enregistrement est de 11.2 μW. Le SoC implémente un nouveau circuit de stimulation optique basé sur une source de courant de type cascode avec rétroaction, ce qui permet d’accommoder une large gamme de LED et de tensions de batterie comparativement aux circuits existants. Le SoC est intégré dans un système optogénétique sans fil et validé in vivo. À ce jour et en excluant ce projet, aucun système sans-fil ne fait de l’optogénétique en boucle fermée simultanément au suivi temps réel de l’activité neuronale. Une contribution importante de ce travail est d’avoir développé le premier système optogénétique multicanal qui est capable de fonctionner en boucle fermée et le premier à être validé lors d’expériences in vivo impliquant des animaux libres de leurs mouvements. Pour ce faire, la troisième phase du projet a visé la conception d’un SoC CMOS numérique, appelé neural decoder integrated circuit (ND-IC). Le ND-IC et le SoC développé lors de la phase 2 ont été intégrés dans un système optogénétique sans fil. Le ND-IC possède 3 modules : 1) le détecteur de PA adaptatif, 2) le module de compression possédant un nouvel arbre de tri pour discriminer les coefficients, et 3) le module de classement automatique des PA qui réutilise les données générées par le module de détection et de compression pour réduire sa complexité. Un lien entre un canal d’enregistrement et un canal de stimulation est établi selon l’association de chaque PA à un neurone, grâce à la classification, et selon l’activité de ce neurone dans le temps. Le ND-IC consomme 56.9 μW et occupe 0.08 mm2 par canal. Le système pèse 1.05 g, occupe un volume de 1.12 cm3, possède une autonomie de 3h, et est validé in vivo.
The future of brain research lies in the development of new technologies that will help understand how this complex organ processes, integrates and transfers information. Among these, optogenetics is a recent technology that allows the use of light to selectively activate neurons in the cortex of transgenic animals to observe their effect in a large biological network. This experimental setting is typically based on observing the neuronal activity of transgenic mice, as they express a wide variety of genes and diseases, while being inexpensive. However, most available neural recording or optogenetic devices are not suitable, because they are hard-wired, too heavy and/or too simplistic. Unfortunately, few wireless systems exist, and they are greatly limited by the required bandwidth to transmit neural data, while not providing simultaneous multi-channel neural recording and optogenetic, a must for stimulating and observing several areas of the brain. In current devices, the analysis of the neuronal data is performed ex situ, while the research would greatly benefit from wireless systems that are smart enough to interpret and stimulate the neurons in closed-loop, in situ. The goal of this project is to design analog-digital circuits for acquisition and processing of neural signals, algorithms for analysis and processing of these signals and miniature electrooptical wireless systems for: i) Conducting experiments combining high-resolution multi-channel neuronal recording and high-resolution multi-channel optogenetics with freely-moving animals. ii) Conduct optogenetic experiments synchronized with the neural recording, i.e. in closed loop, with freely-moving animals. iii) Increase the resolution while reducing the size, weight and energy consumption of the wireless optogenetic systems to minimize the impact of research with small animals. This project is in 3 phases, and its main contributions have been reported in ten conferences (ISSCC, ISCAS, EMBC, etc.) and four published journal papers, or submitted, as well as in a patent and two disclosures. The design of a high resolution optogenetic system poses several challenges. In particular, since the neuronal signals have a high frequency content (10 kHz), the number of chanv nels under observation is limited by the bandwidth of the wireless transmitters (2-4 channels in general). Thus, the first phase of the project focused on the development of neural signal compression algorithms and their integration into a high-resolution miniature and lightweight wireless optogenetics system (2.8g), having 32 recording channels and 32 optical stimulation channels. This system detects, compresses and transmits the waveforms of the signals produced by the neurons, i.e. action potentials (AP), in real time, via an embedded low-power field programmable gate array (FPGA). This processor implements an AP detector algorithm based on adaptive thresholding, which allows to compress the signals by transmitting only the detected waveforms. Each AP is further compressed by a Symmlet-2 discrete wavelet transform (DWT) followed dynamic discrimination and requantification of the DWT coefficients, making it possible to achieve high compression ratios with a good reconstruction quality. Results demonstrate that this algorithm is more robust than existing approach, while allowing to reconstruct the compressed signals with better quality (average SNDR of 25 dB 5% for a compression ratio (CR) of 4.2). With detection, CRs greater than 500 are reported during the in vivo validation. The use of commercial components in wireless optogenetic systems increases the size and power consumption, while not being optimized for this application. The second phase of the project consisted in designing a complementary metal oxide semiconductor (CMOS) system-on-chip (SoC) for neural recording and multi-channel optogenetics, which significantly reduces the size and energy consumption compared to commercial alternatives. This is important contribution, since it’s the first chip to integrate both features. This SoC has 10 recording channels and 4 optogenetic stimulation channels. The bioamplifier design includes a programmable bandwidth (0.5 Hz -7 kHz) and a low input-referred noise (IRN of 3.2 μVrms), which allows targeting different biological signals (AP, LFP, etc.). The Delta-Sigma (DS) MASH 1-1-1 low-power analog-to-digital converter (ADC) is designed to work with low OSR (50), as to reduce its power consumption, and has a programmable resolution (ENOB of 9.75 bits with an OSR of 25). This ADC uses a new technique to reduce its circuit size by subtracting the output of each DS branch in the digital domain, rather than in the analog domain, as done conventionally. A recording channel, including the bioamplifier, the DS and the decimation filter, consumes 11.2 μW. Optical stimulation is performed with an on-chip LED driver using a regulated cascode current source with feedback, which accommodates a wide range of LED parameters and battery voltages. The SoC is integrated into a wireless optogenetic platform and validated in vivo.
To date and excluding this project, no wireless system is making closed-loop optogenetics simultaneously to real-time monitoring of neuronal activity. An important contribution of this work is to have developed the first multi-channel optogenetic system that is able to work in closed-loop, and the first to be validated during in vivo experiments involving freely-moving animals. To do so, the third phase of the project aimed to design a digital CMOS chip, called neural decoder integrated circuit (ND-IC). The ND-IC and the SoC developed in Phase 2 are integrated within a wireless optogenetic system. The ND-IC has 3 main cores: 1) the adaptive AP detector core, 2) the compression core with a new sorting tree for discriminating the DWT coefficients, and 3 ) the AP automatic classification core that reuses the data generated by the detection and compression cores to reduce its complexity. A link between a recording channel and a stimulation channel is established according to the association of each AP with a neuron, thanks to the classification, and according to the bursting activity of this neuron. The ND-IC consumes 56.9 μW and occupies 0.08 mm2 per channel. The system weighs 1.05 g, occupies a volume of 1.12 cm3, has an autonomy of 3h, and is validated in vivo.

Les substituts de robot humanoïde promettent de nouvelles applications dans le domaine des interactions homme-robot et la robotique d’assistance. Cependant, l’incarnation de corps entier pour la téléopération ou téléprésence avec des avatars de robots mobiles est encore loin d’être pleinement exploré et compris. Dans cette thèse, nous nous concentrons sur l’exploration du sentiment d’incarnation quand on navigue et interagit avec l’environnement ou avec soi-même par l’intermédiaire d’un robot humanoïde. Dans un premier temps, nous montrons une architecture de contrôle conçu pour réaliser des scénarios de navigation et d’interaction avec soi. L’architecture utilise une interface cerveau-ordinateur pour contrôler le robot humanoïde et repose sur plusieurs composants de vision par ordinateur pour aider l’utilisateur à naviguer et interagir avec l’environnement et soi-même. Deux scénarios sont ensuite réalisés avec cette architecture où les utilisateurs doivent contrôler un robot humanoïde pour réaliser des tâches d’interaction avec soi-même. Tout d’abord, nous examinons comment la rétroaction et la contrôlabilité réduite des utilisateurs affectent leur sentiment d’incarnation vers le robot humanoïde en navigation. Nous présentons ensuite le résultat d’une étude axée sur le sentiment éprouvé par l’utilisateur lorsqu’il commande le bras humanoïde pour “toucher” l’environnement et soi-même. Le résultat montre que, malgré le manque de rétroaction dans le contrôle, et le fait de se reconnaître, les utilisateurs restent incarnés dans le robot humanoïde, et ressentent “l’effet tactile du toucher” sur leurs mains à travers le robot humanoïde
Humanoid robot surrogates promise new applications in the field of human robot interactions and assistive robotics. However, whole body embodiment for teleoperation or telepresence with mobile robot avatars is yet to be fully explored and understood. In this thesis, we focus on exploring the feeling of embodiment when one navigates and interacts with the environment or with one's self through a humanoid robot. First, we show a framework devised to realize scenarios of navigation and self interaction. The framework uses a brain-computer interface to control a humanoid robot and relies on several computer vision components to assist the user navigate and interact with the environment and one's self. Two scenarios are then realized with this framework where the users control a humanoid robot to realize self interaction tasks. We then explore in details key issues encountered during those scenarios. First, we investigate how the reduced controllability and feedback of the users affect their feeling of embodiment towards the walking surrogate. We then present the result of a study focused on the feeling experienced by the user when controlling the humanoid arm to ``touch'' the environment and then one's self. The result shows that despite the lack of feedback in the control, and recognizing themselves, users stay embody in the surrogate, and experience the touch in their hands through it

Les interfaces cerveau/machine consistent en l’interfaçage direct d’un tissu nerveux avec unsystème électronique. Dans le cas des interfaces in vitro, il s’agit de tirer parti du traitement de l’information parallélisé au sein de ces réseaux neuronaux pour atteindre des performances de calcul supérieures à celles des processeurs classiques. In vivo, les interfaces cerveau/machine ont pour objectif d’introduire de nouvelles informations dans le circuit neuronal par stimulation électrique du tissu afin de compenser ou réhabiliter des fonctions cognitives ou sensori-motrices perdues. Qu’il soit question de recueil de données ou de transfert d’information, le défi majeur de ces interfaces se trouve au niveau des interactions cellules/matériaux. C’est notamment le cas des prothèses rétiniennes pour lesquelles la résolution actuelle est insuffisante pour permettre aux patients de lire des textes complexes, de se mouvoir dans un environnement complexe et de reconnaître des visages. Cependant, les premiers essais cliniques ont apporté des résultats encourageants chez des patients non-voyants, même si l’acuité visuelle retrouvée reste inférieure à la limite légale de cécité. Au cours de ce doctorat, nous avons travaillé sur la biocompatibilité de nouveaux matériaux semi-conducteurs, la fonctionnalisation et la distribution des électrodes pour des interfaces rétine-machine in vitro et in vivo. La première partie de mon travail a porté sur la reconstruction d’un réseau neuronal rétinien sur une matrice de multi-électrodes. Nous proposons une nouvelle technique pour sélectionner spécifiquement des populations neuronales sur des électrodes prédéfinies d’une matrice en utilisant soit un anticorps soit une lectine spécifique. Cette sélection s’opère à partir d’une suspension cellulaire mixte dans laquelle la population d’intérêt peut être faiblement représentée. Cette possibilité de reconstruire un réseau neuronal rétinien ouvre de nouvelles perspectives dans l’étude du fonctionnement et la formation de ce réseau neuronal. La seconde partie de mon travail a porté sur le développement d’approches nouvelles pour augmenter la résolution et la stabilité à long-terme des implants rétiniens. Dans un premier temps, nous avons démontré la biocompatibilité de deux matériaux semi-conducteurs à base de carbone, le graphène et le diamant, pour les neurones rétiniens. Ces derniers peuvent en effet développer de longs prolongements directement sur ces matériaux en l’absence de tout revêtement protéique. Par contre, les cellules gliales montrent une nette préférence pour les surfaces recouvertes de peptides. Intégrant ces matériaux sur des implants in vivo, nous avons d’abord mis en évidence l’avantage d’une structure 3D pour focaliser les courants de stimulation sur des neurones s’intégrant à l’intérieur de cavités ou puits. La présence de diamant à la surface de ces prototypes 3D d’implant souples n’induit pas de réaction majeure dans la rétinede rats aveugles. Ces travaux ouvrent de nouvelles perspectives pour les interfaces cerveau machine et les neuroprothèses, en particulier les implants rétiniens en confirmant l’intérêt du diamant et du graphène et en proposant de nouvelles stratégies d’interfaçage cellule/électrode ou tissu/implant
Brain-Machine Interfaces consist in the direct interfacing of a nervous tissue onto an electronic device. In vitro interfaces are expected to outperform computer calculations by achieving parallel information processing within neural networks. Applying electrical stimulations, in vivo brain-machine interfaces aim at assisting, rehabilitating or repairing cognitive or sensory-motor functions. Either for data analysis or information transfer, the main challenge of these interfaces relies in the cell/material interactions. Particularly in the case of retinal prosthetics, the current resolution remains insufficient to allow patients to read complex texts, to perform locomotion tasks in a complex environment and recognize faces. However, the first clinical trials showed encouraging results in blind patients, even though the restored visual acuity is still below legal blindness. During my PhD, we have worked on the biocompatibility of new semi-conducting materials, the functionalization and configuration of electrodes for retina-machine interfaces, both in vitro and in vivo. The first part of my work consisted in reconstructing a retinal neuronal network on a multielectrode array. We propose a novel technique to specifically address neuronal populations on pre-defined electrodes on an array, using either a specific antibody or lectine. This selection is performed from a mixed cell suspension even when selected neurons represent a minor population. This possibility to reconstruct a retinal neuronal network opens new perspectives for studying the formation and physiology of this neuronal network. The second topic of my work concerned the development of new approaches to increase the resolution and long-term stability of retinal implants. First, we demonstrated the biocompatibility of two semi-conducting carbon-based materials, graphene and diamond, with retinal neurons. These neurons could develop long neurites directly on the tested materials without any protein coating. By contrast, glial cells showed a clear preference for peptide-coated surfaces. Prior to integrating these materials on in vivo implants, we have shown the advantage of 3D structures to focalize stimulation currents onto neurons filling the implant cavities or wells. The diamond coating at the surface of these 3D soft implant prototypes does not seem to induce any major inflammation in the retina of blind rats. These works open new perspectives in the field of brain machine interfaces, neuroprostheses, with a specific emphasis on visual rehabilitation confirming the interest of diamond and graphene and proposing new strategies of cell/electrode or tissue/implant interfaces

The adaptation of standard integrated circuit (IC) technology for biosensors in drug discovery pharmacology, neural interface systems, environmental sensors and electrophysiology requires electrodes to be electrochemically stable, biocompatible and affordable. Unfortunately, the ubiquitous IC technology, complementary metal oxide semiconductor (CMOS), does not meet the first of these requirements. For devices intended only for research, modification of CMOS by post-processing using cleanroom facilities has been achieved by others. However, to enable adoption of CMOS as a basis for commercial biosensors, the economies of scale of CMOS fabrication must be maintained by using only low-cost post-processing techniques. The scope of this work was to develop post-processing methods that meet the electrochemical and biocompatibility requirements but within the low-cost constraint. Several approaches were appraised with the two most promising designs taken forward for further investigation. Firstly, a process was developed whereby the corrodible aluminium is anodised to form nanoporous alumina and further processed to optimise its impedance. A second design included a noble metal in the alumina pores to enhance further the electrical characteristics of the electrode. Experiments demonstrated for the first time the ability to anodise CMOS metallisation to form the desired electrodes. Tests showed the electrode addressed the problems of corrosion and presented a surface that was biocompatible with the NG108-15 neuronal cell line. Difficulties in assessing the influence of alumina porosity led to the development of a novel cell adhesion assay that showed for the first time neuronal cells adhere preferentially to large pores rather than small pores or planar aluminium. It was also demonstrated that porosity can be manipulated at room temperature by modifying the anodising electrolyte with polyethylene glycol. CMOS ICs were designed as multiple electrode arrays and optimised for neuronal recordings. This utilised the design incorporating a noble metal deposited into the porous alumina. Deposition of platinum was only partially successful, with better results using gold. This provided an electrode surface suitable for electric cell-substrate impedance sensors (ECIS) and many other sensor applications. Further processing deposited platinum black to improve signal-to-noise ratio for neuronal recordings. The developed processes require no specialised semiconductor fabrication equipment and can process CMOS ICs on laboratory or factory bench tops in less than one hour. During the course of electrode development, new methods for biosensor packaging were assessed: firstly, a biocompatible polyethylene glycol mould process was developed for improved prototype assembly. Secondly, a commercial ‘partial encapsulation’ process (Quik-Pak, U.S.) was assessed for biocompatibility. Cell vitality tests showed both methods were biocompatible and therefore suitable for use in cell-based biosensors. The post-processed CMOS electrode arrays were demonstrated by successfully recording neuronal cell electrical activity (action potentials) and by ECIS with a human epithelial cell line (Caco2). It is evident that these developments may provide a missing link that can enable commercialisation of CMOS biosensors. Further work is being planned to demonstrate the technology in context for specific markets.

Les paramètres de surface contrôlent les fonctions des cellules, en coopération avec leurs codes génétiques. Des études récentes soulignent l'impact combiné des signaux chimiques, topographiques et mécaniques des substrats d'adhésion sur les processus de différenciation. Cette étude se focalise sur le paramètre énergétique, et plus spécialement, sur l'influence exercée par la distribution spatiale des énergies de surface sur la différenciation des cellules neuronales. Le modèle étudié est constitué par les cellules de la lignée PC12, capables de se différencier en neurones suite au traitement par le facteur de croissance nerveux (NGF). Les cellules sont cultivées sur des surfaces de verre modifiées par auto-assemblage de monocouches d'alkylsiloxanes ou de biopolymères. La modification de la nature chimique et du degré d'organisation des monocouches module la distribution des composantes dispersives et polaires de l'énergie de surface, à une échelle inférieure au micron. Sur des substrats très homogènes (dotés de terminaisons CH3, NH2, ou OH), l'adhésion des cellules PC12 est modulée par le degré d'affinité chimique, et peu de cellules initient des neurites. Inversement, sur des substrats localement très hétérogènes, les cellules adhèrent quel que soit le couple chimique produisant les hétérogénéités (NH2/OH ou CH3/OH), et elles génèrent un nombre important de neurites en moins de 48 h, sans traitement au NGF. Ce travail démontre que les hétérogénéités chimiques de surface exercent une influence critique sur les processus de régénérescence des cellules nerveuses, en induisant des gradients dans les énergies d'adhésion aux échelles nanométriques.

Damage to the central nervous system (CNS) leads to the generation of an immune response which culminates with the encapsulation of the damaged area. The encapsulation, known as a glial scar, essentially breaks neural signal pathways and blocks signal transmissions to and from the CNS. The effect is the loss of motor and sensory control for the damaged individual. One method that has been used successfully to treat this problem is the use of a brain-machine interface (BMI) which can intercept signals from the brain and use these signals to control a machine. Although there are many types of BMI devices, implantable devices show the greatest promise with the ability to target specific areas of the CNS, with reduced noise levels and faster signal interception, and the fact that they can also be used to send signals to neurons. The largest problem that has plagued this type of BMI device is that the materials that have been used for their construction are not chemically resilient, elicit a negative biological response, or have difficulty functioning for extended periods of time in the harsh body environment. Many of these implantable devices experience catastrophic failure within weeks to months because of these negative factors. New materials must be examined to advance the future utilization of BMI devices to assist people with CNS damage or disease. We have proposed that two semiconductor materials, cubic silicon carbide (3C-SiC) and nanocrystalline diamond (NCD), which should provide solutions to the material biocompatibility problems experienced by implantable BMI devices. We have shown in this study that these two materials show chemical resilience to neuronal cellular processes, and we show evidence which indicates that these materials possess good biocompatibility with neural cell lines that, in the worst case, is comparable to celltreated polystyrene and, in most cases, even surpasses polystyrene. We have utilized 3C-SiC within an electrode device and activated the action potential of differentiated PC12 cells. This work details our initial efforts to modify the surfaces of these materials in order to improve cellular interaction and biocompatibility, and we examine our current and future work on improving our implantable BMI devices.

Gli astrociti, cellule non eccitabili del cervello, dapprima considerate solo cellule di supporto all’attività neuronale, hanno un ruolo centrale nella fisiologia cerebrale mantenendo l’omeostasi di ioni, acqua e neurotrasmettitori, e modulando anche l’attività neuronale, attraverso il rilascio di neurotrasmettitori. La disfunzione degli astrociti può concorrere alla patogenesi di neuropatologie acute e croniche come Ischemia o Malattia di Alzheimer. Gli astrociti svolgono li loro funzioni tramite canali ionici, trasportatori e canali per l’acqua e comunicando attraverso segnali di calcio intracellulare. Considerata l’importanza emersa degli astrociti, è fondamentale provvedere alla scoperta dei meccanismi molecolari e funzionali alla base della loro attività. Tuttavia, le metodologie allo stato dell’arte per lo studio della fisiologia astro gliale, sono state sviluppate principalmente per studiare i neuroni. Questo dato potrebbe aver limitato la capacità di comprensione dei suddetti fenomeni. In questo contesto, lo studio di cellule in vitro potrebbe avere grande rilevanza nell’avanzamento della conoscenza dei principi biofisici e molecolari che regolano l’attività degli astrociti. Tuttavia, le proprietà morfologiche e funzionali delle cellule astrogliali in vitro, sono molto diverse da quelle osservate in vivo. In quest’ottica, questo lavoro di tesi è stato focalizzato sullo studio di materiali nanostrutturati e dispositivi bioelettronici, che consentissero di differenziare gli astrociti in vitro e/o di generare strumenti innovativi per lo studio e la modulazione della funzione astrogliale. Studi di biocompatibilità tramite i test di vitalità cellulare, immunofluorescenza e Western Blot, degli astrociti su interfacce nanostrutturate, costituite da idrotalciti, nanofili di silicio e ossido di grafene o da loro derivati, sono stati ricavati dati di notevole importanza per sviluppare dispositivi utili allo studio e alla modulazione della fisiologia astrogliale.

L'attention focalisée est une fonction cognitive de haut niveau permettant à l'Homme de faciliter sélectivement certaines actions et perceptions. Dans un monde regorgeant de choix d'actions, et de possibilités de perceptions, l'attention focalisée représente une composante vitale de la cognition humaine. Un constat important doit cependant être noté : l'Homme est incapable de maintenir indéfiniment un état stable d'attention focalisée. Cette incapacité est mise en évidence pendant les tâches d'attention soutenue par l'apparition progressive de déficiences sensori-motrices au cours du temps. L'impulsivité motrice augmente alors, ainsi que le temps de réponse aux stimuli impératifs, et la sensibilité perceptive diminue. À l'heure actuelle, les bases neuronales du phénomène restent très peu connues et ce manque de connaissance est clairement perceptible au sein de deux champs disciplinaires - les Neurosciences Cognitives et l'Ingénierie Cognitive. En Neurosciences Cognitives, la question demeure ainsi posée : pourquoi l'Homme est-il incapable de maintenir un niveau de performance sensori-motrice optimal au cours de tâches d'attention soutenue ? En Ingénierie Cognitive, la problématique concerne le développement d'Interfaces Cerveau-Machine (ICM) passives : identifier les marqueurs neuronaux des déficits d'attention permettrait, à terme, de suivre en temps réel l'état cognitif de l'Homme et de l'alerter de la survenue de ces déficits durant son activité. Ces deux problématiques ont été traitées dans cette thèse. Dans un premier temps, je démontre que le maintien d'une attention focalisée sur une stimulation visuelle entraîne une rapide inhibition des aires visuelles corticales. Cette inhibition sensorielle serait liée à l'absence de variation de la stimulation sensorielle. Ainsi, l'inhibition sensorielle serait bénéfique au cours de tâches de recherche visuelle : elle permettrait à l'Homme d'éviter de réexaminer plusieurs fois le même stimulus, le même objet, la même localisation spatiale; mais lorsqu'une attention soutenue est requise, ce mécanisme serait alors à l'origine de l'apparition de déficiences sensorielles. La présence de cette inhibition sensorielle apporte une explication probante à la diminution de sensibilité perceptive et à l'allongement du temps de réaction qui caractérisent le phénomène. Je montre ensuite que l'activité de structures neuronales motrices et d'aires corticales connues pour sous-tendre l'attention focalisée (i.e., tractus cortico-spinal, et aires corticales motrice primaire, préfrontale et pariétale droite) augmente progressivement au cours d'une tâche d'attention soutenue. Ce sur-engagement reflèterait un processus de compensation en réponse au désengagement préalable des aires corticales sensorielles et à la diminution de la qualité des représentations perceptives. Aussi, l'augmentation d'activité des structures neuronales motrices expliquerait l'augmentation de l'impulsivité motrice, une des signatures comportementales des déficits d'attention. Dans un second temps, je teste la possibilité d'exploiter ces corrélats neuronaux des déficits d'attention afin de discriminer deux états attentionnels donnés (i.e., avec ou sans déficits d'attention) au sein d'une ICM passive. Nous avons pour cela appliqué des méthodes de classification supervisées sur des données de spectroscopie proche infra-rouge reflétant l'activité hémodynamique des aires corticales préfrontale et pariétale enregistrées pendant une tâche d'attention soutenue. Nous rapportons des résultats encourageant en termes de performance de classification pour le futur développement d'ICM passives. Pris ensemble, les résultats décrits dans cette thèse apportent une meilleure compréhension des corrélats neuronaux des déficits d'attention et montrent comment cette connaissance peut être exploitée afin de développer des systèmes permettant de limiter la survenue d'accidents et d'incidents liés à l'erreur humaine dans un contexte écologique
Focused attention represents a high-level cognitive function enabling humans to selectively facilitate specific actions and perceptions. In a world full of choices of action, and of perceptual possibilities, focused attention appears to be a vital component of human cognition. One observation however, is worth making: human-beings are unable to maintain stable states of focused attention indefinitely. This inability manifests during sustained attention tasks with the progressive occurrence of sensory-motor deficiencies with time-on-task. The phenomenon - called attention decrement - is characterized by increases in motor impulsivity and in response times to imperative events, and by a reduction in perceptual sensitivity. So far, the neural underpinnings of attention decrement have not been fully elucidated and this lack of knowledge is clearly palpable within two disciplinary fields : Cognitive Neuroscience and Cognitive Engineering. In Cognitive Neuroscience, the associated question is why are human-beings unable to maintain an optimal sensory-motor performance during sustained attention tasks? In Cognitive Engineering, the lack of a complete scientific understanding of attentional issues impacts the development of efficient passive Brain-Computer interfaces (BCI), capable of detecting the occurrence of potentially dangerous attention decrements during the performance of everyday activities. Both issues have been addressed in this thesis. In terms of Cognitive Neuroscience, I demonstrate that sustaining focused attention on a visual stimulation rapidly leads to an inhibition of the visual cortices. This sensory inhibition can be causally related to the lack of changes in perceptual stimulation typically characterizing sustained attention tasks. While the mechanism may be beneficial during visual search tasks as it helps humans avoid processing the same stimulus, the same object, the same location several times, it can lead to the occurrence of sensory deficiencies when sustained attention is required. As such, the sensory inhibition provides a compelling explanation as to the decrease in perceptual sensitivity and to the increase in reaction time that typify attention decrement. I show in a second study that attention decrement is associated with an increase in the activity of motor- and attention-related neural structures (i.e., cortico-spinal tract, primary motor, prefrontal and right parietal cortices). This excessive engagement reflects a compensatory process occurring in response to the sensory disengagement already highlighted and to the related degradation of the quality of perceptual representations. It is notable that the excessive engagement of the motor neural structures with time-on-task provides a potential explanation for the increase in motor impulsivity typifying attention decrement. In terms of application of these new findings, I investigated the potential of exploiting these neural correlates of attention decrement to discriminate between two different attentional states (i.e., with or without attention decrement) through a passive BCI system. To do so, we applied supervised classification analyses on near-infrared spectroscopy signals reflecting the hemodynamic activity of prefrontal and parietal cortices as recorded during a sustained attention task. We achieved relatively promising classification performance results which bode well for the future development of passive BCI. When considered together, the results described in this thesis contribute towards a better understanding of the neural correlates of attention decrement and demonstrate how this novel knowledge can be exploited for the future development of systems which may enable a reduction in accidents and human error-driven incidents in real world environments

Cette thèse s'inscrit dans le cadre du projet Européen intégré VERE (Virtual Embodiement and Robotics re-Embodiement). Il s'agit de proposer une architecture logicielle intégrant un ensemble de stratégies de contrôle et de retours informationnels basés sur la "fonction tâche" pour incorporer (embodiment) un opérateur humain dans un humanoïde robotique ou un avatar notamment par la pensée. Les problèmes sous-jacents peuvent se révéler par le démonstrateur suivant (auquel on souhaite aboutir à l'issue de cette thèse). Imaginons un opérateur doté d'une interface cerveau-ordinateur ; le but est d'arriver à extraire de ces signaux la pensée de l'opérateur humain, de la traduire en commandes robotique et de faire un retour sensoriel afin que l'opérateur s'approprie le "corps" robotique ou virtuel de son "avatar". Une illustration cinématographique de cet objectif est le film récent "Avatar" ou encore "Surrogates". Dans cette thèse, on s'intéressera tout d'abord à certains problèmes que l'on a rencontré en travaillant sur l'utilisation des interfaces cerveau-ordinateur pour le contrôle de robots ou d'avatars, par exemple, la nécessité de multiplier les comportements ou les particularités liées aux retours sensoriels du robot. Dans un second temps, nous aborderons le cœur de notre contribution en introduisant le concept d'interface cerveau-ordinateur orienté objet pour le contrôle de robots humanoïdes. Nous présenterons ensuite les résultats d'une étude concernant le rôle du son dans le processus d'embodiment. Enfin, nous montrerons les premières expériences concernant le contrôle d'un robot humanoïde en interface cerveau-ordinateur utilisant l'électrocorticographie, une technologie d'acquisition des signaux cérébraux implantée dans la boîte crânienne
This thesis is part of the European project VERE (Virtual Embodiment and Robotics re-Embodiment). The goal is to propose a software framework integrating a set of control strategies and information feedback based on the "task function" in order to embody a human operator within a humanoid robot or a virtual avatar using his thoughts. The underlying problems can be shown by considering the following demonstrator. Let us imagine an operator equipped with a brain-computer interface; the goal is to extract the though of the human operator from these signals, then translate it into robotic commands and finally to give an appropriate sensory feedback to the operator so that he can appropriate the "body", robotic or virtual, of his avatar. A cinematographic illustration of this objective can be seen in recent movies such as "Avatar" or "Surrogates". In this thesis, we start by discussing specific problems that we encountered while using a brain-computer interface for the control of robots or avatars, e.g. the arising need for multiple behaviours or the specific problems induced by the sensory feedback provided by the robot. We will then introduce our main contribution which is the concept of object-oriented brain-computer interface for the control of humanoid robot. We will then present the results of a study regarding the role of sound in the embodiment process. Finally, we show some preliminary experiments where we used electrocorticography (ECoG)~--~a technology used to acquire signals from the brain that is implanted within the cranium~--~to control a humanoid robot

Une interface cerveau-machine (ICM) est un système capable de traduire les modèles d’activité cérébrale en messages pour une application. Il permet à un sujet d’envoyer des commandes à un appareil à travers l’activité cérébrale, sans nécessiter d’activité musculaire périphérique. Ces systèmes sont de plus en plus explorés pour le contrôle et la communication, ainsi que pour le traitement des troubles neurologiques, notamment via la capacité des sujets à moduler volontairement leur activité cérébrale grâce à l’imagerie mentale (IM). Pour contrôler une ICM, l’utilisateur doit produire différents types de signaux cérébraux que le système identifiera et traduira en commandes. Même si cette technique a été largement utilisée, la performance des sujets, mesurée comme la correcte classification de l’intention de l’utilisateur, affiche toujours de faibles scores. Une grande partie des efforts pour résoudre ce problème s’est concentrée sur la classification. Alors que la recherche de features alternatives a été peu explorée. Dans la plupart des systèmes mis en œuvre, la reconnaissance des états mentaux repose sur la puissance spectrale d’un nombre réduit de sources, en se concentrant sur les caractérisation d’une seule région du cerveau. Cependant, le cerveau n’est pas un ensemble de pièces isolées travaillant de manière indépendante. Il s’agit plutôt d’un réseau complexe qui intègre des informations dans des régions différemment spécialisées. Il s’avère que l’examen des signaux d’une région spécifique, tout en négligeant ses interactions avec les autres, simplifie à l’extrême le phénomène. Il serait préférable de comprendre le comportement collectif du système pour bien saisir le fonctionnement cérébral. Ainsi, nous pensons que l’étude à travers la connectivité fonctionnelle pourraient être plus représentatives de la complexité des processus neurophysiologiques, puisqu’elles mesurent les interactions entre différentes aires cérébrales, reflétant l’échange d’informations qui est essentiel pour décoder l’organisation cérébrale. Ensuite, ces interactions peuvent être synthétisées à l’aide d’estimateurs des réseaux complexes, modélisant le cerveau humain comme un réseau. Certes, l’analyse de réseau peut présenter une performance plus précise car elle optimise le coût de calcul et la dimensionnalité. Néanmoins, la simple extraction des propriétés topologiques du réseau, sans tenir compte de la nature spatiale intrinsèque du cerveau, pourrait manquer des informations cruciales pour comprendre le fonctionnement du cerveau. Des études récentes ont démontré que la connectivité cérébrale révèle la latéralisation des hémisphères lors de tâches liées à l’IM moteur. Couvrant ces deux concepts, nous avons exploré la double contribution de la topologie et de l’espace dans la modélisation des états mentaux moteurs par la latéralisation fonctionnelle. Plus précisément, nous avons introduit de nouvelles métriques pour quantifier la ségrégation et l’intégration au sein et entre les hémisphères, et nous avons montré qu’il s’agit de caractéristiques très pertinentes pour décoder une tâche mentale d’imagerie motrice. Ces propriétés de réseau donnent non seulement des précisions de classification compétitives, mais ont également l’avantage d’être interprétables sur le plan neurophysiologique, par rapport aux approches de pointe qui sont plutôt aveugles au mécanisme sous-jacent
A Brain-Computer Interface (BCI) is a system that can translate brain activity patterns into messages or commands for an interactive application. It enables a subject to send commands to a device only by means of brain activity, without requiring any peripherical muscular activity. These systems are increasingly explored for control and communication, as well as for treatment of neurological disorders, especially via the ability of subjects to voluntarily modulate their brain activity through mental imagery (MI). To control a BCI, the user must produce different brain signal patterns that the system will identify and translate into commands. Even though this technique has been widely used, subjects performance, measured as the correct classification of the user’s intent, still shows low scores. Much of the efforts to solve this problem have focused on the BCI classification block. While, the research of alternative features has been poorly explored. In most implemented systems, pattern recognition relies on power spectrum density (PSD) of a reduced number of sources, focusing on features that characterize a single brain region. However, the brain is not a collection of isolated pieces working independently. It rather consists of a distributed complex network that integrates information across differently specialized regions. It turns out that examining signals from one specific region, while neglecting its interactions with others, oversimplifies the phenomenon. It would be preferable to have an understanding of the system’s collective behaviour to fully capture the brain functioning. Thus, we hypothesize that functional connectivity (FC) features could be more representative of the complexity of neurophysiological processes, since they measure interactions between different brain areas, reflecting the information exchange that is essential to decode brain organization. Then, these interactions can be quantified using network theoretic approaches, extracting few summary properties of the entire complex brain network. Thus, network analysis may also be more efficient by reducing the problem dimension and optimizing the computational cost. Nevertheless, extracting topological properties of the network, while disregarding the intrinsic spatial nature of the brain, could overlook crucial information for understanding brain functioning. Recent neuroimaging studies demonstrated that brain connectivity reveals hemisphere lateralization during motor MI-related tasks. Covering these two concepts, we explored the dual contribution of brain network topology and space in modelling motor-related mental states through the concept of functional lateralization. Specifically, we introduced new metrics to quantify segregation and integration within and between the hemispheres, and we showed that they are highly relevant features for decoding a motor imagery mental task. These network properties not only give competitive classification accuracy but also have the advantage of being neurophysiologically interpretable, compared to state-of-the-art approaches that are instead blind to the underlying mechanism

L’enregistrement des données de neurones a connu d’énormes progrès au cours des dernières années ; il aide à diagnostiquer les maladies à l’intérieur du cerveau comme la maladie de Parkinson et la dépression clinique. Un grand nombre de patients atteints de Parkinson utilisent un implant neuronal pour réduire les tumeurs et le mouvement rigide. Afin de contrôler le mouvement, une petite électrode est placée sur le cerveau pour réduire et même éliminer les symptômes de Parkinson au moment où une simulation électrique arrive. Le système d’enregistrement de données de neurones exige un lien complet. En utilisant des microélectrodes, on prend les données provenant des neurones dans le cerveau, on les convertis en données numériques et ensuite on transmet ces données numérisées en utilisant une liaison sans fil. Dans ce travail, nous nous concentrons sur l’envoi de données de neurones à partir d’un dispositif implanté à travers la peau en utilisant la lumière. Il y’a différentes façons de transmettre les données sans fil, soit avec antenne, soit avec un émetteur optique ; nous discutons à propos de ces méthodes dans le chapitre de la revue de la littérature. Nous avons choisi de travailler avec Émettant VCSEL ou Vertical Cavity Surface lasers ; une diode laser spécialisée avec une meilleure efficacité et une vitesse élevée par rapport à d’autres dispositifs optiques. La première partie de la recherche était d’étudier la meilleure façon de transmettre des données à travers la peau humaine, le mode de transmission et les propriétés du milieu à travers lequel la lumière se propage. Après avoir choisi le mode de transmission, nous avons conçu un lien intégré en utilisant la technologie de 0,18 um CMOS. Ce lien intégré est constitué de deux parties, du côté de l’émetteur, qui est un moteur apte à entraîner le VCSEL avec un dB bande passante à 3 de 1,3 GHz et une faible consommation de puissance de 12 mW, et un côté récepteur qui se compose d’une photodiode reliée à un VCSEL CMOS amplificateur d’adaptation d’impédance à gain élevé (90 dB) et haute vitesse de (250 Mbps). La deuxième partie était de construire une liaison optique discrète avec des composants à faible coût commercial, donc nous avons conçu deux PCB (Printed Circuit Board) pour le côté émetteur ainsi que le côté récepteur, et nous avons conçu un système mécanique pour aligner l’émetteur et la photodiode. Nous avons ensuite testé notre liaison optique, ce qui a démontré la capacité de transmettre des données par le biais de 3 mm de tissu de porc à un débit binaire de 20 Mbps avec une faible consommation d’énergie de 3MWen utilisant OOK (On Off Keying) la transmission de données, et enfin nous avons fait une comparaison entre nos résultats et d’autres oeuvres.
Neural data recording has seen huge progress during the past few years; it helps for diagnosing diseases inside the brain like Parkinson disease and clinical depression. A big number of Parkinson’s patients use a neural implant to lessen tumors and rigid movement. A small electrode will be placed on the brain. It helps to control motion and when an electrical simulation happens, it helps reduce and even eliminate Parkinson symptoms. The neural data recording system requires a complete link starting by recording neural data using electrodes, convert this data onto digital data and transmit the digitized data using a wireless link. In this work we are focusing on sending neural data from an implanted device through the skin using light. There are different ways to transmit data wirelessly with either antenna or with an optical transmitter; we discuss about those methods in the literature review chapter. We choose to work with VCSEL or Vertical Cavity Surface Emitting Lasers; a specialized laser diode with improved efficiency and high speed compared to other optical devices. The first part of the research was to study the best way to transmit data through the human skin, the method of transmission and the properties of the medium through which the light will propagate. After choosing the method of transmission, we designed an integrated link using 0.18 um CMOS technology. This integrated link consists of two parts, the transmitter side which is a VCSEL driver able to drive the VCSEL with a 3 dB bandwidth of 1.3 GHz and low power-consumption of 12 mW, and a receiver side that consists of a photodiode connected to a CMOS transimpedance amplifier with high gain (90 dB) and high speed of (250 Mbps). The second part was to build a discrete optical link with commercial low cost components, so we designed two PCBs (Printed Circuit Board) for the transmitter and receiver side, and we designed a mechanical system to align the transmitter and the photodiode. We then tested our optical link, and it demonstrated the capability to transmit data through 3 mm of pork tissue at a bit-rate of 20 Mbps with low power consumption of 3 mW using OOK (On Off Keying) data transmission, and finally we did a comparison between our results and other works.

Restorer la faculté de parler chez des personnes paralysées et aphasiques pourrait être envisagée via l’utilisation d’une interface cerveau-machine permettant de contrôler un synthétiseur de parole en temps réel. L’objectif de cette thèse était de développer trois aspects nécessaires à la mise au point d’une telle preuve de concept.Premièrement, un synthétiseur permettant de produire en temps-réel de la parole intelligible et controlé par un nombre raisonable de paramètres est nécessaire. Nous avons choisi de synthétiser de la parole à partir des mouvements des articulateurs du conduit vocal. En effet, des études récentes ont suggéré que l’activité neuronale du cortex moteur de la parole pourrait contenir suffisamment d’information pour décoder la parole, et particulièrement ses propriété articulatoire (ex. l’ouverture des lèvres). Nous avons donc développé un synthétiseur produisant de la parole intelligible à partir de données articulatoires. Dans un premier temps, nous avons enregistré un large corpus de données articulatoire et acoustiques synchrones chez un locuteur. Ensuite, nous avons utilisé des techniques d’apprentissage automatique, en particulier des réseaux de neurones profonds, pour construire un modèle permettant de convertir des données articulatoires en parole. Ce synthétisuer a été construit pour fonctionner en temps réel. Enfin, comme première étape vers un contrôle neuronal de ce synthétiseur, nous avons testé qu’il pouvait être contrôlé en temps réel par plusieurs locuteurs, pour produire de la parole inetlligible à partir de leurs mouvements articulatoires dans un paradigme de boucle fermée.Deuxièmement, nous avons étudié le décodage de la parole et de ses propriétés articulatoires à partir d’activités neuronales essentiellement enregistrées dans le cortex moteur de la parole. Nous avons construit un outil permettant de localiser les aires corticales actives, en ligne pendant des chirurgies éveillées à l’hôpital de Grenoble, et nous avons testé ce système chez deux patients atteints d’un cancer du cerveau. Les résultats ont montré que le cortex moteur exhibe une activité spécifique pendant la production de parole dans les bandes beta et gamma du signal, y compris lors de l’imagination de la parole. Les données enregistrées ont ensuite pu être analysées pour décoder l’intention de parler du sujet (réelle ou imaginée), ainsi que la vibration des cordes vocales et les trajectoires des articulateurs principaux du conduit vocal significativement au dessus du niveau de la chance.Enfin, nous nous sommes intéressés aux questions éthiques qui accompagnent le développement et l’usage des interfaces cerveau-machine. Nous avons en particulier considéré trois niveaux de réflexion éthique concernant respectivement l’animal, l’humain et l’humanité
Restoring natural speech in paralyzed and aphasic people could be achieved using a brain-computer interface controlling a speech synthesizer in real-time. The aim of this thesis was thus to develop three main steps toward such proof of concept.First, a prerequisite was to develop a speech synthesizer producing intelligible speech in real-time with a reasonable number of control parameters. Here we chose to synthesize speech from movements of the speech articulators since recent studies suggested that neural activity from the speech motor cortex contains relevant information to decode speech, and especially articulatory features of speech. We thus developed a speech synthesizer that produced intelligible speech from articulatory data. This was achieved by first recording a large dataset of synchronous articulatory and acoustic data in a single speaker. Then, we used machine learning techniques, especially deep neural networks, to build a model able to convert articulatory data into speech. This synthesizer was built to run in real time. Finally, as a first step toward future brain control of this synthesizer, we tested that it could be controlled in real-time by several speakers to produce intelligible speech from articulatory movements in a closed-loop paradigm.Second, we investigated the feasibility of decoding speech and articulatory features from neural activity essentially recorded in the speech motor cortex. We built a tool that allowed to localize active cortical speech areas online during awake brain surgery at the Grenoble Hospital and tested this system in two patients with brain cancer. Results show that the motor cortex exhibits specific activity during speech production in the beta and gamma bands, which are also present during speech imagination. The recorded data could be successfully analyzed to decode speech intention, voicing activity and the trajectories of the main articulators of the vocal tract above chance.Finally, we addressed ethical issues that arise with the development and use of brain-computer interfaces. We considered three levels of ethical questionings, dealing respectively with the animal, the human being, and the human species

Les interfaces cerveau-machine (ICM) ouvrent des voies de communication alternatives entre le cerveau et son environnement. Elles peuvent être utilisées pour supplanter une fonction biologique défaillante ou pour permettre de nouveaux modes d’interaction à l’utilisateur. Les ICM de sortie, dont le fonctionnement se base sur la lecture de données biologiques, nécessitent la mesure de signaux de contrôle stables dans le temps et dans la population. La recherche de tels signaux et leur calibration sont des étapes clefs dans la conception d’une ICM. Cette étude s’intéresse en premier lieu aux ICM utilisant les potentiels évoqués visuels comme signaux de contrôle. Un modèle est proposé pour la prédiction individuelle de ces potentiels en régime permanent, c’est-à-dire lorsqu'ils sont issus d’une stimulation périodique. Ce modèle utilise une sommation linéaire corrigée en amplitude de la réponse à des stimulations visuelles discrètes pour prédire quantitativement la nature et la localisation spatiale de la réponse à des stimulations répétées. Les signaux modélisés sont ensuite utilisés en temps réel comme base de comparaison pour décoder les signaux électroencéphalographiques d’une ICM. Dans une deuxième partie, un paradigme est proposé pour le développement d’ICM cognitives, c’est-à-dire permettant la mesure de fonctions cérébrales de haut niveau. L’originalité du paradigme réside dans la volonté de mesurer la cognition en continu plutôt que son influence sur des événements discrets. Une expérience visant à discriminer différents états d’attention visuelle soutenue est proposée, avec l’ambition d’une mesure en temps réel pour le développement de systèmes de neurofeedback
Brain-computer interfaces (BCIs) offer alternative communication pathways between the brain and its environment. They can be used to replace a defective biological function or to provide the user with new ways of interaction. Output BCIs, which are based on the reading of biological data, require the measurement of control signals as stable as possible in time and in the population. Identification and calibration of such signals are crucial steps in the conception of a BCI.The first part of this study focuses on BCIs using visual evoked potentials (VEPs) as control signals. A model is proposed to predict steady-state VEPs individually, i.e. to predict the response of a given subject’s brain to periodic visual stimulations. This model uses a linear summation of transient VEPs and an amplitude correction for quantitative prediction of the shape and spatial organization of the brain response to repeated stimulations. The simulated signals are then used as a basis of comparison for real-time decoding of electroencephalographic signals in a BCI.In the second part of this study, a paradigm is proposed for the development of cognitive BCIs, i.e. for the real-time measuring of high-level brain functions. The originality of the paradigm lies in the fact that correlates of cognition are measured continuously, instead of being observed on discrete events. An experiment with the purpose of discriminating between several levels of sustained visual attention is proposed, with the ambition of real-time measurement for the development of neurofeedback systems

Les Interfaces Cerveau Ordinateur Actives (ICOs) permettent à une personne d'exercer un contrôle direct et volontaire sur un système informatique par interprétation de son activité cérébrale : certains signaux du cerveau sont capturés afin que le système reconnaisse des actions imaginées spécifiques (mouvements, images, concepts). Les ICOs actives et leurs utilisateurs doivent être entrainés. Cet entraînement rend les signaux plus aisés à reconnaître par le système.Cependant, à l'heure actuelle les ICO servent principalement dans un contexte médical pour aider les personnes en situation de handicap (moteur, ou empêchant complètement la communication avec le monde extérieur) et se trouvent rarement en dehors de laboratoires spécialisés.Les ICO ont de nombreuses limitations :• La variabilité dans les signaux: les signaux sont différents d'une personne à l'autre voire même chez un même individu à des moments différents.• Des sessions d'entraînement longues et répétitives: entre dix minutes et deux mois, sont ennuyantes et désengagent les utilisateurs du processus d'apprentissage.• Un feedback limité: les systèmes actuels proposent un feedback unimodal élémentaire qui est inadapté pour les nombreux utilisateurs. la communication est unidirectionnelle dans le sens où le système donne des instructions que l'utilisateur doit exécuter.L'objectif de cette thèse est de proposer des solutions aux problèmes sus décrits afin d'obtenir une architecture consistante qui rendra les ICO plus compatibles avec les applications d'IHM. L'idée principale est l'implantation du co-apprentissage dans la boucle ICO et l'exploration de la manière dont les utilisateurs et le système peuvent mutuellement se donner du feedback dans le but de l'amélioration de l'utilisabilité des ICO.Cette thèse se structure autour de trois innovations portant sur la boucle ICO :• Une architecture générale basée sur les principes des ICO asynchrones et sur l'entraînement incrémental combinés avec une séparation aveugle des sources et un classifieur à distance minimum. Nous évaluerons l'architecture sur une tache de pilotage de drone au long d'un mois et concluons qu'elle est en adéquation avec les besoins d'une utilisation quotidienne ludique.• Une modalité de visualisation plus intuitive pour les résultats de classification ainsi que pour les caractéristiques de distance sur la base d'une projection en coordonnées de Wachspress pour un nombre arbitraire de classes. Nous combinons la visualisation avec un feedback direct des utilisateurs leur permettant d'interactivement changer la marge de classification, le type de distance où encore de trier et de gérer les signaux d'entraînement en temps réel. Nous évaluons cette contribution sur un jeu de tir simple et découvrons qu'il y a une bonne synergie entre la modalité de visualisation et le feedback direct des utilisateurs et qu'une telle combinaison est bien plus agréable à utiliser qu'un entraînement d'ICO standard.• Enfin, nous développons une ICO fonctionnelle à base d'imagerie conceptuelle à l'aide de notre architecture ainsi que de nos systèmes de visualisation et de feedback, ce qui permet une interaction plus agréable au travers de l'imagination de catégories sémantiques et de concepts. Nous démontrons que ce type d'ICO détecte plus aisément les catégories sémantiques éloignées plutôt que les catégories sémantiques proches. Pour terminer, nous créons un nouveau protocole d'entraînement implicite pour les ICO à base d'Imagerie Conceptuelle basé sur l'amorçage sémantique et conceptuel, ce qui permet d'intégrer l'entraînement dans le scénario et l'environnement d'une jeu vidéo sans que l'utilisateur n'en soit conscient. Notre protocole mène à une meilleure immersion et à meilleur sentiment de flot vis à vis du jeu
Active Brain Computer Interfaces (BCIs) allow people to exert direct voluntary control over a computer system: their brain signals are captured and the system recognizes specific imagined actions (movements, images, concepts). Active BCIs and their users must undergo training. This makes the signals easier to recognize by the system. This acquisition can take from 10 minutes up to 2 months. BCIs can thus be applied to many control and interaction scenarios of our everyday lives, especially in relation to entertainment (Wolpaw et al., 2002).BCIs are mostly used by disabled people in a medical setting and seldom leave the lab. First of all, high-grade equipment is expensive and non-portable. Although there are commercial ventures proposing BCI acquisition equipment to the general public, the quality is still insufficient to build accurate and robust BCIs.BCIs also suffer from numerous limitations:• Variability of the signals: signals different across people or within the same individual at different times.• Long and repetitive training sessions: between 10 minutes up to several months, disengage and bore users.• Limited feedback: simple unimodal feedback ill adapted for many users. Feedback is unidirectional and the user just has to follow instructions.All these issues limit the adoption of BCI, the lack of widespread commercial success and the use of BCI from human computer interaction applications.The objective of the thesis is to propose solutions to the above problems so as to obtain a consistent architecture that will allow BCIs to be better suitable to Human-Computer Interaction (HCI) applications. The idea is to implement co-learning in the BCI loop and to explore how users and system can give feedback to each other in order to improve BCI usability.This thesis is structured around three innovations surrounding the BCI loop:• A general architecture based on asynchronous BCI principles and on incremental training combined with an unsupervised blind-source separation filter and a minimum distance classifier. This architecture allows producing BCIs with minimal training session. We evaluate the architecture on a drone piloting task over a month and find that it is suitable for use in daily recreational applications.• A more intuitive visualization modality for classification outcomes and distance features using Wachspress coordinate projection for an arbitrary number of classes. We combine the visualization with direct feedback mechanism where users can interactively change the classification margin, change the types of features as well as edit the training trials in real-time. We evaluate our contribution on a simple shooter game and find there is a good synergy between our visualization modality and direct user feedback and that the combination is much more enjoyable to users than a standard BCI training.• Finally we develop an operational Conceptual Imagery BCI based on our architecture, visualization and feedback system that allow for more natural interactions through the imagination of sematic categories and concepts. We show that this type of BCI is more effective at detecting distinct semantic categories rather than close ones. Then, we build on this conceptual BCI to propose a smart home control system for healthy and disabled users. Finally we invent a new seamless training protocol for Conceptual Imagery that uses conceptual and semantic priming in order to integrate the training in the narrative and environment of the game without the realization of the user. Our technique leads to better flow and immersion of users in the game. We believe this training protocol can be extended to many tasks outside of games or even of Conceptual Imagery

Malgré des développements récents dans la conception des casques électroencéphalographiques (EEG) et dans l'analyse du signal cérébrale, les interfaces cerveau-machine (ICM) sont toujours restreintes au contexte de la recherche scientifique. Toutefois, les ICM gagneraient à intégrer la réalité virtuelle (VR) car elles diminuent la distance entre l'utilisateur et son avatar en remplaçant les commandes mécaniques, et donc améliorent le sentiment d'immersion. De plus, les ICM fournissent également des informations sur l'état mental de l'utilisateur comme sa concentration, son attention ou ses points d'intérêts dans l'environnement virtuel. Dans cette thèse, nous étudions l'interaction entre ICM et VR, qui constituent une interface homme-machine dont les applications nous semblent prometteuses pour le grand public, particulièrement dans le domaine du divertissement. Nous nous concentrons sur l'utilisation d’une ICM basée sur l'EEG et sur une stimulation visuelle occasionnelle, autrement-dit une ICM basée sur la détection du P300, un potentiel évoqué positif apparaissant dans l’EEG 250 à 600 ms après l’apparition d’un stimulus. Nous étudions l’usage de cette ICM pour interagir avec un environnement simulé grâce à un casque de VR mobile utilisant un smartphone ordinaire, c’est-à-dire un matériel de VR approprié pour une utilisation grand public.Toutefois, l’intégration des ICM dans la VR pour le grand public rencontre aujourd’hui des défis d’ordre technique, expérimental et conceptuel. En effet, l’utilisation d’un matériel mobile pose des contraintes techniques considérables, et une telle technologie n’a pas encore fait l’objet d’une validation. Les facteurs influençant la performance des ICM en VR par rapport à une utilisation sur PC restent flous. Également, les caractéristiques physiologiques de la réponse du cerveau à des stimuli en VR par rapport aux mêmes stimuli présentés sous PC sont inconnues. Finalement, les ICM et la VR admettent des limites considérables, parfois incompatibles. Par exemple, l’utilisateur interagit avec la VR en bougeant, ce qui perturbe le signal EEG et diminue la performance de l’ICM. Il y a donc une nécessité d’adapter le design de l’application pour une technologie mixte ICM+VR.Dans ce travail, nous présentons une contribution dans chacun de ces domaines : une réalisation technique vers une ICM grand public en VR ; une analyse expérimentale de sa performance et une analyse des différences physiologies produites par des stimuli présentés dans un casque de VR par rapport aux mêmes stimuli sous PC - analyses menées à bien grâce à deux campagnes expérimentales portant sur 33 sujets ; une synthèse des recommandations pour un design adapté à la fois aux ICM et à la VR
In spite of ongoing developments in the conception of electroencephalographic (EEG) headsets and brain signal analysis, the actual use of an EEG-based brain-computer interfaces (BCI) is still restricted to research settings. On the other hand, BCI technology candidates as a good complement to virtual reality as it may diminish the distance between the user and his/her avatar. A BCI can accomplish this by circumventing the usual muscular pathway between the brain and the machine, thus enhancing the immersion feeling in VR applications. Moreover, a BCI provides valuable information on the mental state of the user, such as concentration and attention for the task at hand and for the virtual objects of interest. In this thesis, we study the coupling of BCI and VR technology, a human-machine interface that is potentially ubiquitous, in particular for gaming. We focus on the use of EEG-based BCI with occasional visual stimulation, i.e., BCIs based on the detection of the P300, a positive evoked potential appearing in the EEG 250 to 600 ms after the presentation of a stimulus. We investigate the use of such a BCI to interact with VR environments obtained using a mobile head-mounted display based on an ordinary smartphone, material suiting well the general public.The fusion of BCI technology with VR faces technical, experimental and conceptual limitations. Indeed, the integration of BCI with a mobile head-mounted display is technically burdensome and has not been fully validated. The factors impacting the performance of the BCI in VR remains still unknown. Also, unknown are the physiological characteristics of the brain responses to VR stimuli as compared to the same stimuli displayed on a PC screen. Finally, both BCI and VR technologies are limited, and these limitations sometimes appears contradictory. For example, the EEG is perturbed by the user’s movements while s/he is interacting with the virtual environment, but this movement may be an essential aspect of the VR experience. Thus, it is necessary to operate a synthesis of the existing design recommendations for BCI and VR technologies from the perspective of a mixed BCI+VR application.In this work, we presents three contributions: a technical implementation of a BCI+VR system, paving the way for a general public use; an analysis of its performance and an analysis of the physiological differences produced by VR stimuli as compared to the same stimuli on a PC by means of two experimental campaigns carried out on 33 subjects; a synthesis of the recommendations to adapt the application design to BCI and VR

Neuronal networks are at the base of information processing in the brain. They are series of interconnected neurons whose activation defines a recognizable linear pathway. The main goal of studying neural ensembles is to characterize the relationship between the stimulus and the individual or general neuronal responses and the relation amongst the electrical activities of neurons within the network, also understanding how topology and connectivity relates to their function. Many techniques have been developed to study these complex systems: single-cell approaches aim to investigate single neurons and their connections with a limited number of other nerve cells; on the opposite side, low-resolution large-scale approaches, such as functional MRI (Magnetic Resonance Imaging) or electroencephalography (EEG), record signal changes in the brain that are generated by large populations of cells. More recently, multisite recording techniques have been developed to overcome the limitations of previous approaches, allowing to record simultaneously from huge neuronal ensembles with high spatial resolution and in different brain regions, i.e. by using implantable semiconductor chips. Local Field Potentials (LFPs), the part of electrophysiological signals that has frequencies below 500 Hz, capture key integrative synaptic processes that cannot be measured by analyzing the spiking activity of few neurons alone. Several studies have used LFPs to investigate cortical network mechanisms involved in sensory processing, motor planning and higher cognitive processes, like memory and perception. LFPs are also promising signals for steering neuroprosthetic devices and for monitoring neural activity even in human beings, since they are more easily and stably recorded in chronic settings than neuronal spikes. In this work, LFP profiles recorded in the rat barrel cortex through high-resolution CMOS-based needle chips are presented and compared to those obtained by means of conventional Ag/AgCl electrodes inserted into glass micropipettes, which are widely used tools in electrophysiology. The rat barrel cortex is a well-known example of topographic mapping where each of the whiskers on the snout of the animal is mapped onto a specific cortical area, called a barrel. The barrel cortex contains the somatosensory representation of the whiskers and forms an early stage of cortical processing for tactile information, along with the trigeminal ganglion and the thalamus. It is an area of great importance for understanding how the cerebral cortex works, since the cortical columns that form the basic building blocks of the neocortex can be actually seen within the barrel. Moreover, the barrel cortex has served as a test-bed system for several new methodologies, partly because of its unique and instantly identifiable form, and partly because the species that have barrels, i.e. rodents, are the most commonly used laboratory mammal. The barrel cortex, the whiskers that activate it and the intervening neural pathways have been increasingly the subject of focus by a growing number of research groups for quite some time. Nowadays, studies (such this one) are directed not only at understanding the barrel cortex itself but also at investigating issues in related fields using the barrel cortex as a base model. In this study, LFP responses were evoked in the target barrel by repeatedly deflecting the corresponding whisker in a controlled fashion, by means of a specifically designed closed-loop piezoelectric bending system triggered by a custom LabView acquisition software. Evoked LFPs generated in the barrel cortex by many consecutive whiskers' stimulations show large variability in shapes and timings. Moreover, anesthetics can deeply affect the profile of evoked responses. This work presents preliminary results on the variability and the effect of commonly used anesthetics on these signals, by comparing the distributions of evoked responses recorded from rats anesthetized with tiletamine-xylazine, which mainly blocks the excitatory NMDA receptors, and urethane, which conversely affects both the excitatory and inhibitory system, in a complex and balanced way yet preserving the synaptic plasticity. Representative signal shape characteristics (e.g., latencies and amplitude of events) extracted from evoked responses acquired from different cortical layers are analyzed and discussed. Statistical distributions of these parameters are estimated for all the different depths, in order to assess the variability of LFPs generated by individual mechanical stimulations of single whiskers along the entire cortical column. Preliminary results showed a great variability in cortical responses, which varied both in latency and amplitude across layers. We found significant difference in the latency of the first principal peak of the responses: under tiletamine-xylazine anesthetic, the responses or events of the evoked LFPs occurred later than the ones recorded while urethane was administered. Furthermore, the distributions of this parameter in all cortical layers were narrower in case of urethane. This behavior should be attributed to the different effects of these two anesthetics on specific synaptic receptors and thus on the encoding and processing of the sensory input information along the cortical pathway. The role of the ongoing basal activity on the modulation of the evoked response was also investigated. To this aim, spontaneous activity was recorded in different cortical layers of the rat barrel cortex under the two types of anesthesia and analyzed in the statistical context of neuronal avalanches. A neuronal avalanche is a cascade of bursts of activity in neural networks, whose size distribution can be approximated by a power law. The event size distribution of neuronal avalanches in cortical networks has been reported to follow a power law of the type P(s)= s^-a, with exponent a close to 1.5, which represent a reflection of long-range spatial correlations in spontaneous neuronal activity. Since negative LFP peaks (nLFPs) originates from the sum of synchronized Action Potentials (AP) from neurons within the vicinity of the recording electrode, we wondered if it were possible to model single nLFPs recorded in the basal activity traces by means of only one electrode as the result of local neuronal avalanches, and thus we analyzed the size (i.e. the amplitude in uV) distribution of these peaks so as to identify a suitable power-law distribution that could describe also these single-electrode records. Finally, the results of the first ever measurements of evoked LFPs within an entire column of the barrel cortex obtained by means of the latest generation of CMOS-based implantable needles, having 256 recording sites arranged into two different array topologies (i.e. 16 x 16 or 4 x 64, pitches in the x- and y-direction of 15 um and 33 um respectively), are presented and discussed. A propagation dynamics of the LFP can be already recognized in these first cortical profiles. In the next future, the use of these semiconductor devices will help, among other things, to understand how degenerating syndromes like Parkinson or Alzheimer evolve, by coupling detected behaviors and symptoms of the disease to neuronal features. Implantable chips could then be used as 'electroceuticals', a newly coined term that describes one of the most promising branch of bioelectronic medicine: they could help in reverting the course of neurodegenerative diseases, by constituting the basis of neural prostheses that physically supports or even functionally trains impaired neuronal ensembles. High-resolution extraction and identification of neural signals will also help to develop complex brain-machine interfaces, which can allow intelligent prostheses to be finely controlled by their wearers and to provide sophisticated feedbacks to those who have lost part of their body or brain functions.
Le reti neuronali sono alla base della codifica dell'informazione cerebrale. L'obiettivo principale dello studio delle popolazioni neuronali è quello di caratterizzare la relazione tra uno stimolo e la risposta individuale o globale dei neuroni e di studiare il rapporto tra le varie attività elettriche dei neuroni appartenenti ad una particolare rete, comprendendo anche come la topologia e la connettività della rete neuronale influiscano sulla loro funzionalità. Fino ad oggi, molte tecniche sono state sviluppate per studiare questi sistemi complessi: studi a singola cellula mirano a studiare singoli neuroni e le loro connessioni con un numero limitato di altre cellule; sul lato opposto, approcci su larga scala e a bassa risoluzione, come la risonanza magnetica funzionale o l'elettroencefalogramma, registrano segnali elettrofisiologici generati nel cervello da vaste popolazioni di cellule. Più recentemente, sono state sviluppate tecniche di registrazione multisito che mirano ad abbattere le limitazioni dei precedenti approcci, rendendo possibile la misurazione ad alta risoluzione di segnali generati da grandi ensamble neuronali e da diverse regioni del cervello simultaneamente, ad esempio mediante l'uso di chip impiantabili a semiconduttore. I potenziali di campo locali (LFP) catturano processi sinaptici chiave che non possono essere estratti dall'attività di spiking di qualche neurone isolato. Numerosi studi hanno utilizzato gli LFP per studiare i meccanismi corticali coinvolti nei processi sensoriali, motori e cognitivi, come la memoria e la percezione. Gli LFP rappresentano anche dei segnali interessanti nell'ambito delle applicazioni neuroprotesiche e per monitorare l'attività cerebrale negli esseri umani, dal momento che possono essere registrati più stabilmente e facilmente in impianti cronici rispetto agli spike neuronali. In questo studio, sono riportati dei profili LFP registrati dalla barrel cortex di ratto tramite chip ad ago ad alta risoluzione basati su tecnologia CMOS e confrontati con quelli ottenuti tramite elettrodi convenzionali in Ag/AgCl inseriti in micropipette di vetro, strumenti comunemente usati in elettrofisiologia. La barrel cortex di ratto è un esempio ben noto di mapping topografico, nel quale ogni baffo sul muso dell'animale è mappato in una specifica area corticale, chiamata barrel. La barrel cortex contiene la rappresentazione sensoriale dei baffi dell'animale e rappresenta uno dei primi stadi di elaborazione dell'informazione tattile, insieme al ganglio del trigemino e al talamo. Essa è un'area di primaria importanza per lo studio del funzionamento della corteccia cerebrale, visto che le colonne corticali che formano i blocchi di base della neocorteccia possono essere visualizzati facilmente all'interno della barrel cortex. La barrel cortex inoltre è utilizzata come sistema di test in numerose metodologie innovative, grazie alla sua struttura unica ed istantaneamente identificabile, e grazie anche al fatto che le specie dotate di barrel, i roditori, sono gli animali da laboratorio più comuni. La barrel cortex e le sue interconnessioni neuronali sono stati oggetto delle ricerche più disparate in questi ultimi decenni. Attualmente, alcuni studi (come questo) non mirano solamente a comprendere meglio la barrel cortex, ma anche ad analizzare problematiche in campi scientifici collegati, utilizzando la barrel cortex come modello base. In questo lavoro, sono stati evocati segnali LFP nella barrel cortex tramite deflessioni ripetute dei baffi dell'animale, realizzate in modo controllato tramite un sistema di deflessione piezoelettrica a closed-loop innescato da un sistema di acquisizione LabView. Le risposte evocate generate nella barrel dalla stimolazione ripetuta dei baffi presentano elevata variabilità nella forma e nelle latenze temporali. Inoltre, il tipo di anestesia utilizzata può influenzare profondamente il profilo della risposta evocata. Questo studio riporta i risultati preliminari sulla variabilità della risposta neuronale e sull'effetto di due anestetici di uso comune su questi segnali, confrontando le distribuzioni delle risposte evocate in ratti anestetizzati con tiletamina-xylazina (il quale agisce prevalentemente sui recettori eccitatori di tipo NMDA) e uretano (che agisce in modo più bilanciato e complesso su entrambi i sistemi eccitatori ed inibitori, preservando la plasticità sinaptica). Sono state analizzate e discusse alcune caratteristiche rappresentative del segnale evocato (ad esempio, le latenze temporali e l'ampiezza degli eventi), registrato a varie profondità corticali. Per tutte le prondità corticali acquisite, sono state stimate le distribuzioni statistiche di tali parametri, in modo da valutare la variabilità degli LFP evocati dalle stimolazioni meccaniche individuali delle vibrisse del ratto lungo l'intera colonna corticale. I primi risultati presentano una grande variabilità nelle risposte corticali, sia in latenza che in ampiezza. Inoltre, è stata riscontrata una differenza significativa nella latenza del primo picco principale delle risposte evocate: gli LFP evocati in animali anestetizzati con tiletamina-xylazina presentavano una latenza più lunga di quelli registrati in ratti anestetizzati con uretano. Inoltre, le distribuzioni dei parametri analizzati erano più strette e piccate in uretano, in corrispondenza di tutte le profondità corticali. Questo comportamento è sicuramente da attribuire al differente meccanismo d'azione dei due anestetici su specifici recettori sinaptici, e quindi nell'elaborazione e nella trasmissione dell'informazione sensoriale lungo tutto il percorso corticale. E' stato inoltre discusso il ruolo della attività basale nella modulazione della risposta evocata. A questo proposito, è stata registrata l'attività spontanea in corrispondenza dei vari layer corticali ed analizzata nel contesto statistico delle 'valanghe neuronali'. Una valanga neuronale è una cascata di attività elettrica in una rete neuronale, la cui distribuzione statistica dei parametri principali (dimensione e vita media) può essere approssimata da una legge di potenza. La distribuzione delle dimensioni di una valanga in una rete neuronale segue una legge di potenza del tipo P(s)=s^-a, con a=1.5. Tale esponente è un riflesso delle correlazioni spaziali a lungo raggio nell'attività neuronale spontanea. Dal momento che i picchi negativi (nLFPs) nelle tracce elettrofisiologiche originano dalla somma di potenziali d'azione sincronizzati generati da neuroni posti nelle vicinanze dell'elettrodo di registrazione, ci siamo chiesti se fosse possibile modellizare i singoli nLFP registrati nell'attività basale tramite un singolo elettrodo come il risultato di valanghe neuronali locali. Pertanto, abbiamo analizzato la distribuzione della dimensione (cioè l'ampiezza in uV) di tali picchi, in modo da identificare una distribuzione power-law appropriata, che potesse descrivere anche le registrazioni a singolo elettrodo. Infine, sono presentate e discusse le prime registrazioni in assoluto degli LFP evocati lungo un'intera colonna corticale ottenute tramite l'ultima generazione di chip impiantabili a tecnologia CMOS. Questi ultimi presentano una matrice di 256 siti di registrazione, organizzata secondo due possibili topologie, 16 x 16 o 4 x 64, e avente una distanza tra gli elettrodi pari a 15 um o 33 um rispettivamente. Una precisa dinamica di propagazione dei potenziali evocati può già essere riconosciuta in questi primissimi profili corticali. Nel prossimo futuro, l'uso di questi dispositivi a semiconduttore potrà aiutare a comprendere il decorso di sindromi neurodegerative come il Parkinson o l'Alzheimer, associando sintomi e comportamenti tipo della malattia a specifiche caratteristiche neuronali. I chip impiantabili potranno anche essere utilizzati come 'electroceuticals', ossia potranno aiutare a rallentare (o addirittura a capovolgere) il decorso delle malattie neurogenerative, costituendo le basi di protesi neuronali in grado di sostenere fisicamente o allenare funzionalmente le popolazioni neuronali danneggiate. L'identificazione e il rilevamento di segnali neuronali ad alta risoluzione aiuterà anche a sviluppare complesse interfacce cervello-macchina, che consentiranno il controllo di protesi intelligenti e che forniranno sofisticati meccanismi di feedback a chi ha perso l'uso di alcune parti del proprio corpo o determinate funzioni cerebrali.

Le cerveau est un réseau complexe et nous savons que les mécanismes de synchronisation et de désynchronisation sont essentiels pour effectuer des taches motrices et cognitives. De nos jours, les interactions fonctionnelles cérébrales sont étudiées dans des applications d'interface cerveau-ordinateur (BCI) avec de plus en plus d'intérêt. Cela pourrait avoir un fort impact sur les systèmes BCI, généralement bases sur des caractéristiques univariées qui caractérisent séparément les activités régionales du cerveau. En effet, les fonctionnalités de connectivité cérébrale peuvent être utilisées pour développer des BCI alternatifs dans le but d'améliorer les performances et d'\'e9tendre leur applicabilité dans la vie r\'e9elle. L'ambition de cette thèse est l'étude des réseaux de connectivité fonctionnelle du cerveau lors de taches BCI basées sur l'imagerie motrice (IM). Il vise à identifier le fonctionnement cérébral complexe, les processus de réorganisation et les dynamiques variant dans le temps à la fois au niveau du groupe et de l'individu. Cette thèse présente différents développements qui enrichissent séquentiellement un modèle initialement simple afin d'obtenir une méthode robuste pour l'étude des réseaux de connectivité fonctionnelle. Les résultats expérimentaux sur des données EEG simulées et réelles enregistrés pendant les taches BCI prouvent que notre méthode proposée explique bien le comportement variegate des données EEG cérébrales. Plus précisément, il fournit une caractérisation des mécanismes fonctionnels du cerveau au niveau du groupe, ainsi qu'une mesure de la séparabilité des conditions mentales au niveau individuel. Nous présentons également une procédure de réduction du bruit de graphe pour filtrer les données qui préservent simultanément la structure de connectivité du graphe et améliorent le rapport signal sur bruit. Puisque l'utilisation d'un système BCI nécessite une interaction dynamique entre l'utilisateur et la machine, nous proposons enfin une méthode pour capturer l'évolution des données variant dans le temps. Essentiellement, cette thèse présente un nouveau cadre pour saisir la complexité de la connectivité fonctionnelle des graphes lors de tâches cognitives
The brain is a complex network and we know that inter-areal synchronization and de-synchronization mechanisms are crucial to perform motor and cognitive tasks. Nowadays, brain functional interactions are studied in brain-computer interface BCI) applications with more and more interest. This might have strong impact on BCI systems, typically based on univariate features which separately characterize brain regional activities. Indeed, brain connectivity features can be used to develop alternative BCIs in an effort to improve performance and to extend their real-life applicability. The ambition of this thesis is the investigation of brain functional connectivity networks during motor imagery (MI)-based BCI tasks. It aims to identify complex brain functioning, re-organization processes and time-varying dynamics, at both group and individual level. This thesis presents different developments that sequentially enrich an initially simple model in order to obtain a robust method for the study of functional connectivity networks. Experimental results on simulated and real EEG data recorded during BCI tasks prove that our proposed method well explains the variegate behaviour of brain EEG data. Specifically, it provides a characterization of brain functional mechanisms at group level, together with a measure of the separability of mental conditions at individual level. We also present a graph denoising procedure to filter data which simultaneously preserve the graph connectivity structure and enhance the signal-to-noise ratio. Since the use of a BCI system requires a dynamic interaction between user and machine, we finally propose a method to capture the evolution of time-varying data. In essence, this thesis presents a novel framework to grasp the complexity of graph functional connectivity during cognitive tasks

Les interfaces cerveau-machine (ICM) permettent de contrôler une machine directement à partir de l'activité cérébrale. Le P300-Speller, en particulier, pourrait offrir à des patients complètement paralysés, la possibilité de communiquer sans l'aide de la parole ou du geste. Nous avons cherché à améliorer cette communication en étudiant la coadaptation entre cerveau et machine. Nous avons d'abord montré que l'adaptation d'un utilisateur peut être partiellement perçue, en temps-réel, à travers les modulations de sa réponse électrophysiologique aux feedbacks de la machine. Nous avons ensuite proposé, testé et évalué les effets sur l'utilisateur de plusieurs approches permettant d'améliorer l'interaction, notamment : la correction automatique des erreurs, grâce à la reconnaissance en temps-réel des réponses aux feedbacks ; une stimulation dynamique permettant de diminuer le risque d'erreur tout en réduisant l'inconfort lié aux stimulations ; un processus automatique de décision adaptative, en fonction de l'état de vigilance du sujet. Nos résultats montrent la présence de réponses aux feedbacks spécifiques des erreurs et modulées par l'attention ainsi que par la surprise du sujet face au résultat de l'interaction. Par ailleurs, si l'efficacité de la correction automatique est variable d'un sujet à l'autre, le nouveau mode de stimulation comme la décision adaptative apparaissent comme très avantageux et leur utilisation a un effet positif sur la motivation. Dans la perspective d'études cliniques pour évaluer l'utilité des ICM pour la communication, ces travaux soulignent et quantifient l'intérêt de développer des interfaces capables de s'adapter à chaque utilisateur
Brain-computer interfaces (BCI) aim at enabling the brain to directly control an artificial device. In particular, the P300-Speller could offer patients who cannot speak and neither move, to communicate again. This work consisted in improving this communication by implementing and studying a coadaptation between the brain and the machine. First, on the user side, we showed that adaptation is reflected in real-time by modulations of the electrophysiological responses to the feedbacks from the machine. Then, on the computer side, we proposed, tested and evaluated the effect on the user, of several approaches that endow the machine with adaptive behavior, namely: Automatic correction of errors, based on real-time recognition of feedback responses; Dynamic stimulation to increase spelling accuracy as well as to reduce the discomfort associated with the traditional row/column stimulation paradigm; Adaptive decision making for optimal stopping, depending on the attentional state of the user. Our results show the presence of feedback responses which are error specific and modulated by attention as well as user's surprise with respect to the outcome of the interaction. Besides, while the interest of automatic correction is highly subject-dependant, the new stimulation mode and the adaptive decision method proved clearly beneficial and their use had a significant positive impact on subject's motivation. In the perspective of clinical studies to assess the usefulness of ICM for communication, this work highlights and quantifies the importance of developing adaptive interfaces that are tailored to each every individual

Les Interfaces Cerveaux-Ordinateur (ICO) sont des systèmes qui permettent de manipuler une machine avec sa seule activité cérébrale. Elles sont utilisées pour accomplir des objectifs variés, par exemple afin qu’un amputé puisse manipuler un bras robotique, pour une réhabilitation neuronale en cas d’accident vasculaire cérébral, dans un cadre ludique pour jouer à des jeux vidéo, etc. Une ICO comprend l’acquisition du signal cérébral (le plus souvent par électroencéphalographie, EEG), le décodage et l’interprétation de ce signal, et enfin la production d’un retour sensoriel à l’utilisateur. Ce retour guidera l’utilisateur pour réguler son activité cérébral et apprendre à manipuler la machine. La morphologie du cerveau diffère cependant entre utilisateurs, et les pensées d’un même individu varient au cours du temps. Ces fluctuations rendent les ICO moins performantes, qui sont alors difficiles à utiliser hors des conditions du laboratoire. Nous avons donc besoin d’une machine dynamique, qui puisse s’adapter au cours du temps à son utilisateur. Dans la littérature les approches proposées afin de remédier à ce problème décrivent des machines qui décodent de manière adaptative les signaux EEG, mais ces systèmes ne sont pas assez robustes et ne permettent toujours pas aux ICO d’être utilisées dans la vie quotidienne. L’objectif de cette thèse est d’améliorer les performances et l’utilisabilité des ICO basées sur de l’EEG, en les adaptant de façon innovante aux états et compétences des utilisateurs. Pour ce faire, nous avons premièrement mis en évidence tous les facteurs changeants dans une ICO en définissant trois séquences : 1. Les états psychologiques fluctuants de l’utilisateur qui modifient la signature du signal EEG ; 2. Ce signal qui varie et qui amène la machine à ajuster son décodage ; 3. La tâche qui est présentée à l’utilisateur via le retour sensoriel de la machine, et qui influence à son tour les états psychologiques de l’utilisateur. Nous avons ainsi mis en évidence la possibilité d’adopter un nouvel angle de recherche, en utilisant la tâche adaptative pour diriger les états psychologiques de l’utilisateur et aider ce dernier à manipuler une ICO. Au lieu de seulement adapter le décodage aux signaux cérébraux, nous avons donc considéré l’adaptation de l’interface (via le retour sensoriel produit par la machine) afin d’influencer les signaux et d’en faciliter le décodage. En utilisant des connaissances issues de la psychologie comportementale et des sciences de l’éducation, il est en effet possible de créer des taches et des interfaces qui incitent les utilisateurs à réussir et même à prendre plaisir à utiliser une ICO. Ces différents facteurs, liés à la motivation, participent à produire des signaux plus prédictibles et plus facilement décodables par la machine, augmentant d’autant la performance du système. Nous avons donc formulé une taxonomie des ICO adaptatives en définissant la tâche adaptative comme un nouveau moyen d’améliorer les performances des ICO. Une fois que la taxonomie des ICO adaptatives a été mis en place, nous avons cherché à identifier chez l’utilisateur quel était l’état psychologique optimal qui puisse servire de critère d’optimisation de la tâche. La littérature en psychologie indique que cet état est l’état de flow, un état d’immersion, de contrôle et de plaisir optimal qui incite les gens à se surpasser, quel que soit la tâche, le sexe, la culture ou bien encore l’âge. [...]
Brain-Computer Interfaces (BCIs) are systems that enable a person to manipulate an external device with only brain activity, often using ElectroEncephaloGraphgy (EEG). Although there is great medical potential (communication and mobility assistance, as well as neuro-rehabilitation of those who lost motor functions), BCIs are rarely used outside of laboratories. This is mostly due to users’ variability from their brain morphologies to their changeable psychological states, making it impossible to create one system that works with high success for all. The success of a BCI depends tremendously on the user’s ability to focus to give mental commands, and the machine’s ability to decode such mental commands. Most approaches consist in either designing more intuitive and immersive interfaces to assist the users to focus, or enhancing the machine decoding properties. The latest advances in machine decoding are enabling adaptive machines that try to adjust to the changeable EEG during the BCI task. This thesis is unifying the adaptive machine decoding approaches and the interface design through the creation of adaptive and optimal BCI tasks according to user states and traits. Its purpose is to improve the performance and usability of BCIs and enable their use outside of laboratories. To such end, we first created a taxonomy for adaptive BCIs to account for the various changeable factors of the system. Then, we showed that by adapting the task difficulty we can influence a state of flow, i.e., an optimal state of immersion, control and pleasure. which in turn correlates with BCI performance. Furthermore, we have identified the user traits that can benefit from particular types of task difficulties. This way we have prior knowledge that can guide the task adaptation process, specific to each user trait. As we wish to create a generic adaptation rule that works for all users, we use a probabilistic Bayesian model, called Active Inference used in neuroscience to computationally model brain behavior. When we provide such probabilistic model to the machine, it becomes adaptive in such a way that it mimics brain behavior. That way, we can achieve an automatic co-adaptive BCI and potentially get a step closer into using BCIs in our daily lives

Ce mémoire présente un nouveau modèle pour l'identification des systèmes non linéaires : les réseaux de neurones à temps continu (RNTC). Ces structures emploient des réseaux de neurones formels pour approcher les lois non linéaires qui gouvernent le système mais, contrairement aux modèles neuronaux présentés dans la littérature, notre modèle traite le problème à temps continu. De ce fait, nous montrons alors, au travers de différentes applications, que le modèle permet d'identifier correctement des processus non linéaires variés. De plus, partant du réseau de neurone identifié, il est possible, dans une certaine mesure, de revenir aux valeurs caractéristiques du système en utilisant une étape de réduction de modèle. Enfin, nous indiquons comment adapter le modèle des réseaux de neurones à temps continu au cas des systèmes non entiers et considérons le problème de l'identification des interfaces de diffusion non linéaires. En introduisant un nouvel opérateur d'intégration fractionnaire, et en l'intégrant au modèle par réseau de neurones à temps continu, nous montrons comment approcher le comportement temporel de ces systèmes bien particuliers
This thesis presents a new model for the identification of nonlinear systems : continuous time neural networks (RNTC). These structures employ networks of formal neurons to approach the nonlinear laws that control the system but, contrary to the neural networks models presented in the literature, our model deals the problem in continuous time. Whatever, through various applications, we show that the model allows us to identify various nonlinear processes with a high accuracy. Moreover, in using a model reduction stage, it is possible to revert, from the neural network model, to the characteristic values of the system. Finally, we indicate how to adapt the continuous time neural network model to the case of fractionnal systems and we consider the problem of identification of diffusive nonlinear interfaces. By introducing a new operator of fractional integration, and by integrating it into the continuous time neural network model, we show how to approach the temporal behavior of these particular systems

[EN] The Albufera of Valencia and its Devesa, form a single unit with both an ecological and social high value; reason that led them to be declared Natural Park in 1986 by the Generalitat Valenciana; being the first park declared in this autonomous community. The Devesa is the spit that separates the Mediterranean Sea from the Albufera lake, and is considered a natural area with high scientific, cultural, scenic and educational values. And although during the 60s underwent a process of urbanization, today is in the throes of regeneration to an era of ecological climax. This regeneration has been possible because of the economics efforts made by various administrations for their conservation and protection. However, these efforts do not prevent Devesa from suffering systematically wildfires that undermine their ability to regenerate and that not only produce significant ecological and economic damage, but when fires reach great dimensions, threaten the life of the people who live there and also the firefighting services This Thesis focuses on the study and optimization of the detection system of wildfires using infrared installed in the Devesa. For doing this, the wildfires produced during ten years and the alarms generated during five years of operation of the system are analyzed, relating these alarms with the weather conditions; in order to reduce false positives; on the other hand a fire risk classification system based on neural networks is developed, using as descriptions parameters those used in the IFW, that is the official system used for the official organization in charge of fire weather index in Spain: AEMET. After the development of the neural network to classify the risk of fire, and analyzed the infrared camera system, both are combined to establish a classification system of the alarms, in order to reduce false positives, and establish a criterion of risk to the user of the fire detection system.
[ES] La Albufera de Valencia y su Devesa, forman un conjunto único con un elevado valor tanto ecológico como social; motivo que les llevó a ser declarados Parque Natural en 1986 por parte de la Generalitat Valenciana; siendo el primer parque declarado en esta comunidad. La Devesa es el cordón litoral que separa el Mar Mediterráneo del lago de la Albufera, y es considerada un área natural con altos valores científicos, culturales, paisajísticos y educativos. Y, pese a que durante la década de los 60 sufrió un proceso de urbanización, en la actualidad se encuentra en plena fase de regeneración hacia una época de clímax ecológico. Esta regeneración ha sido posible gracias a los esfuerzos, tanto administrativos como económicos, que han realizado diferentes administraciones para su conservación y protección. Sin embargo, estos esfuerzos no impiden que sistemáticamente el monte de la Devesa sufra incendios forestales que merman su capacidad de regeneración y que, no solo producen un daño ecológico y económico importante, sino que aquellos que alcanzan grandes dimensiones ponen en riesgo la vida de las personas que allí residen, y de los equipos de extinción que tratan de sofocarlos. La presente Tesis se centra en el estudio y optimización del sistema de detección de incendios forestales mediante infrarrojos instalado en la Devesa. Para ello se analizan los incendios ocurridos durante más de diez años, y las alarmas generadas durante cinco años de funcionamiento del sistema, relacionando estas alarmas con las condiciones meteorológicas, a fin de disminuir los falsos positivos; a su vez se desarrolla un sistema de clasificación de riesgo de incendio a partir de redes neuronales, basado en los parámetros meteorológicos descriptores usados en el IFW, índice oficial establecido por la AEMET para clasificar el riesgo de incendio. Una vez desarrollada la red neuronal para clasificar el riesgo de incendio, y analizado el sistema de cámaras infrarrojas, se combinan ambos a fin de establecer un sistema de clasificación de las alarmas capaz de disminuir los falsos positivos, y de establecer un criterio de riesgo al usuario del sistema de detección de incendios.
[CAT] L'Albufera de València i la seva Devesa, formen un conjunt únic amb un elevat valor tant ecològic com social; motiu que els va portar a ser declarats Parc Natural al 1986 per part de la Generalitat Valenciana; sent el primer parc declarat en aquesta Comunidad. La Devesa és el cordó litoral que separa el mar Mediterrani del llac de l'Albufera, i és considerada una àrea natural amb alts valors científics, culturals, paisatgístics i educatius. I tot i que durant la dècada dels 60 va patir un procés d'urbanització, en l'actualitat es troba en plena fase de regeneració cap a una època de clímax ecològic. Aquesta regeneració ha estat possible gràcies als esforços tant administratius, com econòmics, que han realitzat diferents administracions per a la seva conservació i protecció. No obstant això, aquests esforços no impedeixen que sistemàticament la muntanya de la Devesa pateixi incendis forestals que minven la seva capacitat de regeneració i que, no només produeixen un dany ecològic i econòmic important, sinó que aquells que arriben a tindre grans dimensions, posen en risc la vida de les persones que hi viuen, i dels equips d'extinció que tracten de sufocar-los. Aquesta tesi se centra en l'estudi i optimització del sistema de detecció d'incendis forestals mitjançant infrarojos instal · lat a la Devesa. Per a això s'analitzen els incendis ocorreguts durant més de deu anys i les alarmes generades durant cinc anys de funcionament del sistema, relacionant aquestes alarmes amb les condicions meteorològiques; per tal de disminuir els falsos positius; al seu torn es desenvolupa un sistema de classificació de risc d'incendi a partir de xarxes neuronals, basat en els paràmetres meteorològics descriptors usats en el IFW, índex oficial establert per l'AEMET per classificar el risc d'incendi. Un cop desenvolupada la xarxa neuronal per classificar el risc d'incendi, i analitzat el sistema de càmeres infraroges, es combinen tots dos a fi d'establir un sistema de classificació de les alarmes capaç de disminuir els falsos positius, i d'establir un criteri de risc a l¿usuari del sistema de detecció d'incendis. 
Canales Mengod, P. (2015). Termografía Infrarroja aplicada a la detección de incendios en la interfaz urbano-forestal y su optimización mediante redes neuronales artificiales [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/49830
TESIS

L’ingénierie neuromorphique est un nouveau champ disciplinaire en plein essor qui fait appel à des compétences en électronique, mathématiques, informatique et en ingénierie biomorphique dans le but de produire des réseaux de neurones artificiels capables de traiter les informations à la manière du cerveau humain. Ainsi, les systèmes neuromorphiques offrent non seulement des solutions plus performantes et efficientes que les technologies actuelles de traitement de l’information mais permettent également d’envisager le développement de stratégies thérapeutiques inédites dans le cadre de dysfonctionnements cérébraux pathologiques. Le groupe Circuits Systèmes Applications des Micro-ondes (CSAM) de l’Institut d’Electronique, de Microélectronique et de Nanotechnologies (IEMN) dans lequel ces travaux de thèse ont été effectués a contribué à l’émergence de ces systèmes neuromorphiques en développant une boîte à outils complète de neurones et synapses artificiels. Pour intégrer l’ingénierie neuromorphique dans la prise en charge de dysfonctionnements neuronaux pathologiques, il convient d’interfacer les neurones artificiels et les neurones vivants afin d’assurer une communication réelle entre ces différents composants. Dans ce contexte, et en utilisant les outils innovants développés par le groupe CSAM, l’objectif de ce travail de thèse a été de concevoir et réaliser une interface fonctionnelle permettant d’établir une boucle de communication bidirectionnelle entre des neurones artificiels et des neurones vivants. Les neurones artificiels développés par le groupe CSAM sont réalisés en technologie CMOS et capables d’émettre des signaux électriques biomimétiques. Les neurones vivants sont issus de cellules PC12 différenciées. Une première étape de ce travail a consisté à modéliser et à simuler cette interface entre neurones artificiels et vivants ; une deuxième partie de la thèse a été dédiée à la fabrication et à la caractérisation d’interfaces neurobiohybrides, ainsi qu’à la croissance et à la caractérisation de neurones vivants, avant d’étudier leur capacité à communiquer avec des neurones artificiels. Ainsi, un modèle de membrane neuronale représentant un neurone vivant interfacé avec une électrode métallique planaire a été développé. L’exploitation de ce modèle a permis de montrer qu’il est possible de stimuler des neurones vivants en utilisant les signaux biomimétiques issus du modèle de neurones artificiels tout en conservant des tensions d’excitation faibles. L’utilisation de faibles tensions d’excitation permettrait d’améliorer l’efficacité énergétique des systèmes neurobiohybrides intégrant des neurones artificiels et d’amoindrir le risque d’endommager les tissus vivants. Ensuite, le neurobiohybride permettant d’interfacer les neurones vivants et les neurones artificiels a été conçu et réalisé. Une caractérisation expérimentale de cette interface a permis de valider l’approche consistant à exciter un neurone vivant au travers d’une électrode métallique planaire. Enfin, des cellules neuronales vivantes issues de cellules PC-12 ont été cultivées et différenciées dans les neurobiohybrides. Une preuve expérimentale de la capacité des signaux électriques biomimétiques produits par les neurones artificiels a ainsi pu être apportée par la technique d’imagerie calcique. En conclusion, les travaux présentés dans ce manuscrit établissent clairement la preuve de concept de l’excitation de neurones vivants par un signal biomimétique dans nos conditions expérimentales et étayent ainsi la première partie de la boucle de communication bidirectionnelle entre neurones artificiels et neurones vivants
Neuromorphic engineering is an exciting emerging new field, which combines skills in electronics, mathematics, computer sciences and biomorphic engineering with the aim of developing artificial neuronal networks capable of reproducing the brain’s data processing. Thus, neuromorphic systems not only offer more effective and energy efficient solutions than current data processing technologies, but also set the bases for developing novel original therapeutic strategies in the context of pathological brain dysfunctions. The research group Circuits Systèmes Applications des Micro-ondes (CSAM) of the Institute for Electronics, Microelectronics and Nanotechnologies (IEMN) in Lille, in which this thesis work was carried out, has contributed to the generation of such neuromorphic systems by developing a toolbox constituted of artificial neurons and synapses. In order to implement neuromorphic engineering in the therapeutic arsenal for treating neurologic disorders, we need to interface living and artificial neurons to ensure real communication between these different components. In this context and using the original tools developed by the CSAM group, the main goal of this thesis work was to design and produce a functional interface allowing a bidirectional communication loop to be established between living and artificial neurons. These artificial neurons have been developed by the CSAM group using CMOS technology and are able to emit biomimetic electrical signals. Living neurons were obtained from differentiated PC-12 cells. A first step in this work consisted in modeling and simulating this interface between artificial and living neurons; a second part of the thesis was dedicated to the fabrication and characterization of neurobiohybrid interfaces, and to the growth and characterization of living neurons before studying their capacities to communicate with artificial neurons. First, a model of neuronal membrane representing a living neuron interfaced with a metallic planar electrode has been developed. We thus showed that it is possible to excite neurons using biomimetic signals produced by artificial neurons while maintaining a low excitation voltage. Low voltage excitation would improve energy efficiency of neurobiohybrid systems integrating artificial neurons and reduce the impact of harmful electrical signals on living neurons. Then, the neurobiohybrid interfacing living and artificial neurons has been designed and produced. The results obtained by experimental characterization of this interface validate the approach consisting in exciting living neurons through a metallic planar electrode. Finally, living neurons from PC-12 cells were grown and differentiated directly onto neurobiohybrids. Then, an experimental proof of the ability of biomimetic electrical signals to excite living neurons was obtained using calcium imaging. To conclude, the work presented in this manuscript clearly establishes a proof of concept for the excitation of living neurons using a biomimetic signal in our experimental conditions and thus substantiates the first part of the bidirectional communication loop between artificial neurons and living neurons

El presente trabajo de tesis consiste en el diseño de un circuito integrado CMOS que varía la impedancia del receptor de un enlace inductivo para una interface neuronal implantada con el fin de generar una variación de voltaje en el circuito emisor de esta. Este diseño se basó básicamente en la conmutación de valores de condensadores para generar la variación de voltaje en el emisor mediante la activación o desactivación de transistores los cuales funcionan como llave. A la entrada de estos transistores se implantaron unos buffer, los cuales mejoran la transición de voltaje y los tiempos de propagación de las señales. Se realizó el diseño del esquemático del circuito así como el diseño del layout mediante el software EDA (ElectronicDesignAutomation) CADENCE. El esquemático fue desarrollado considerando dispositivos de la tecnología denominada AMS0.35. Esta tecnología pertenece a la compañía AMS y permite la fabricación de transistores MOSFET con canales de 350 nm de longitud mínima. Para la elaboración del layout se utilizó la herramienta Layout XL de Cadence y se utilizó la herramienta ASSURA para validar cada uno de los bloques. En el diseño de los layout se corroboro el uso de las reglas de diseño con la herramienta DRC (Design Rule Check), la equivalencia entre el esquemático y el layout con la herramienta LVS (Layout Versus Schematic) y finalmente la extracción de elementos parásitos usando la herramienta Assura QRC. Se convalido el funcionamiento del circuito y el cumplimiento de los requerimientos mediante simulaciones. Los resultados más destacables son los de potencia en el cual obtuvimos un valor de 167.2uW, juntos con los resultados de modulación teniendo 4 bits o 16 números para realizar la conmutación y así poder tener 16 amplitudes diferentes en el emisor, los tiempos de propagación obtenidos de 618.5ps y 660ps.El área total del circuito modulador fue de 0.0942mm2.
Tesis

Les interfaces cerveau-machine (ICM) ouvrent des voies de communication alternatives entre le cerveau et son environnement. Elles peuvent être utilisées pour supplanter une fonction biologique défaillante ou pour permettre de nouveaux modes d’interaction à l’utilisateur. Les ICM de sortie, dont le fonctionnement se base sur la lecture de données biologiques, nécessitent la mesure de signaux de contrôle stables dans le temps et dans la population. La recherche de tels signaux et leur calibration sont des étapes clefs dans la conception d’une ICM. Cette étude s’intéresse en premier lieu aux ICM utilisant les potentiels évoqués visuels comme signaux de contrôle. Un modèle est proposé pour la prédiction individuelle de ces potentiels en régime permanent, c’est-à-dire lorsqu'ils sont issus d’une stimulation périodique. Ce modèle utilise une sommation linéaire corrigée en amplitude de la réponse à des stimulations visuelles discrètes pour prédire quantitativement la nature et la localisation spatiale de la réponse à des stimulations répétées. Les signaux modélisés sont ensuite utilisés en temps réel comme base de comparaison pour décoder les signaux électroencéphalographiques d’une ICM. Dans une deuxième partie, un paradigme est proposé pour le développement d’ICM cognitives, c’est-à-dire permettant la mesure de fonctions cérébrales de haut niveau. L’originalité du paradigme réside dans la volonté de mesurer la cognition en continu plutôt que son influence sur des événements discrets. Une expérience visant à discriminer différents états d’attention visuelle soutenue est proposée, avec l’ambition d’une mesure en temps réel pour le développement de systèmes de neurofeedback
Brain-computer interfaces (BCIs) offer alternative communication pathways between the brain and its environment. They can be used to replace a defective biological function or to provide the user with new ways of interaction. Output BCIs, which are based on the reading of biological data, require the measurement of control signals as stable as possible in time and in the population. Identification and calibration of such signals are crucial steps in the conception of a BCI.The first part of this study focuses on BCIs using visual evoked potentials (VEPs) as control signals. A model is proposed to predict steady-state VEPs individually, i.e. to predict the response of a given subject’s brain to periodic visual stimulations. This model uses a linear summation of transient VEPs and an amplitude correction for quantitative prediction of the shape and spatial organization of the brain response to repeated stimulations. The simulated signals are then used as a basis of comparison for real-time decoding of electroencephalographic signals in a BCI.In the second part of this study, a paradigm is proposed for the development of cognitive BCIs, i.e. for the real-time measuring of high-level brain functions. The originality of the paradigm lies in the fact that correlates of cognition are measured continuously, instead of being observed on discrete events. An experiment with the purpose of discriminating between several levels of sustained visual attention is proposed, with the ambition of real-time measurement for the development of neurofeedback systems

Our ability to interact with the environment requires the integration of multisensory information for the construction of spatial representations. The peripersonal space (i.e., the sector of space closely surrounding one's body) and the integrative processes between visual and tactile inputs originating from this sector of space have been at the center of recent years investigations. Neurophysiological studies provided evidence for the presence in the monkey brain of bimodal neurons, which are activated by tactile as well as visual information delivered near to a specific body part (e.g., the hand). Neuropsychological studies on right brain-damaged patients who present extinction and functional neuroimaging findings suggest the presence of similar bimodal systems in the human brain. Studies on the effects of tool-use on visual-tactile interaction revealed similar dynamic properties of the peripersonal space in monkeys and humans. The functional role of the multisensory coding of peripersonal space is, in our hypothesis, that of providing the brain with a sensori-motor interface for body-objects interactions. Thus, not only it could be involved in driving involuntary defensive movements in response to objects approaching the body, but could be also dynamically maintained and updated as a function of manual voluntary actions performed towards objects in the reaching space. We tested the hypothesis of an involvement of peripersonal space in executing both voluntary and defensive actions. To these aims, we joined a well known cross-modal congruency effect between visual and tactile information to a kinematic approach to demonstrate that voluntary grasping actions induce an on-line re-weighting of multisensory interactions in the peripersonal space. We additionally show that this modulation is handcentred. We also used a motor evoked potentials approach to investigate which coordinates system is used to code the peripersonal space during motor preparation if real objects rapidly approach the body. Our findings provide direct evidence for automatic hand-centred coding of visual space and suggest that peripersonal space may also serve to represent rapidly 3 approaching and potentially noxious objects, thus enabling the rapid selection of appropriate motor responses. These results clearly show that peripersonal space is a multisensori-motor interface that might have been selected through evolution for optimising the interactions between the body and the objects in the external world.

Les interfaces cerveau-ordinateur (ICOs) basées sur l'imagination motrice offrent des solutions prometteuses pour la rééducation motrice des patients après un accident vasculaire cérébrale (AVC). L'imagerie motrice kinesthésique (IMK) consiste à imaginer les sensations d'un mouvement, telles que la température, la pression, la rugosité, la contraction musculaire et l'activation nerveuse, plutôt que de visualiser le mouvement. Cependant, l'IMK ne comporte pas de retour sensoriel ou kinesthésique, ce qui rend cette tâche difficile à comprendre, à apprendre et à réaliser. Cette absence de retour d'information, ou feedback en anglais, restreint l'évaluation de la performance et l'orientation thérapeutique des patients post-AVC. Pour faire face à ce problème, un retour d'information est fourni aux patients et aux thérapeutes en fonction de la performance du patient. Diverses modalités de feedback ont été étudiées pour résoudre ce problème, notamment visuelles, la stimulation électrique fonctionnelle, les exosquelettes et les robots. Le feedback vibrotactile est une alternative peu explorée, qui vise à stimuler la peau et s'adresse aux patients avec une mobilité très réduite qui ne peuvent pas profiter des autres solutions. La combinaison des différents feedbacks est révélée comme une approche prometteuse pour fournir un retour d'information plus efficace et améliorer le processus de réadaptation. Le développement du feedback pour les ICOs a souvent donné la priorité au progrès technologique plutôt qu'aux considérations centrées sur le patient, ce qui a eu pour conséquence une adoption clinique limitée. Cette thèse adopte une nouvelle approche de recherche basée sur la conception (desing-based research en anglais, DBR), plaçant l'utilisateur au cœur du développement du système du retour d'information. L'objectif est de concevoir et d'évaluer un feedback vibrotactile, complémenté par un feedback visuel, et de l'intégrer à une ICO basée sur l'IMK pour améliorer la rééducation motrice post-AVC. Nous commençons par identifier les besoins et les objectifs des patients post-AVC qui suivent un entraînement par une ICO. Comme résultat, nous avons formulé l'hypothèse que le feedback bimodal (intégrant les modalités vibrotactiles et visuelles) peut améliorer l'IMK dans le contexte d'interaction avec une ICO. Le dispositif vibrotactile est ensuite construit en tenant compte des limitations anatomiques et physiques des patients post-AVC. Ensuite, la stimulation vibrotactile est construite en deux phases : établissement des seuils sensoriels de vibration pour trois groupes des âges différents et synchronisation d'un environnement visuel avec la stimulation vibrotactile. Différents modèles de vibration sont comparés pour déterminer celui qui correspond le mieux à l'animation graphique. La stimulation a été conçue en s'inspirant de l'activation des muscles lors d'un mouvement de préhension. Après la validation de la stimulation, l'ICO est évaluée auprès d'un groupe de participants neurotypiques afin de mesurer l'efficacité, l'utilisabilité et la fiabilité du système. Trois modalités de feedback (vibrotactile, visuelle, bimodal — vibrotactile et visuelle) sont comparées pour évaluer leur efficacité à soutenir l'exécution de l'IMK. Cette recherche met en évidence le potentiel d'une approche centrée sur l'utilisateur pour développer des solutions de feedback qui améliorent l'IMK et la rééducation. Un protocole expérimental est présenté pour une future étude chez les patients post-AVC afin d'évaluer l'acceptabilité et l'utilisabilité de l'ICO avec un feedback bimodal méticuleusement conçu. Les résultats de ce travail offrent les basses pour l'application de notre ICO dans la pratique clinique, avec le potentiel de bénéficier les patients post-AVC
Motor imagery-based brain-computer interfaces (BCI) offer promising solutions for post-stroke motor rehabilitation. Kinesthetic motor imagery (KMI) consists of imagining the sensations of a movement (such as temperature, pressure, roughness, muscular contraction, and nerve activation) rather than visualizing the movement. However, KMI lacks sensory or kinesthetic feedback, making this task challenging to understand, learn, and perform. This absence of feedback hinders performance evaluation and therapeutic guidance for post-stroke patients. To address this issue, feedback is provided to both patients and therapists, based on the patient's performance. Various feedback modalities, including visual, functional electrical stimulation, exoskeletons, and robotic assistance, have been explored to bridge this gap. Vibrotactile feedback is an underexplored alternative, that offers skin stimulation, targeting patients with limited mobility. Combining different feedback modalities has emerged as a promising approach to provide more effective feedback and enhance the rehabilitation process. The development of BCI feedback has often prioritized technological advancement over patient-centric considerations, resulting in limited clinical adoption. This thesis adopts a novel design-based research (DBR) approach, placing the user at the core of feedback system development. The objective is to design and evaluate vibrotactile feedback, complemented with visual feedback and integrated it with a KMI-based BCI to improve post-stroke motor rehabilitation. We start by identifying the needs and objectives of patients undergoing BCI training, leading to the hypothesis that bimodal feedback (combining vibrotactile and visual modalities) can enhance KMI within the BCI context. We tailor the vibrotactile stimulation to provide precise sensory feedback during grasping KMI. The vibrotactile device is then built considering the anatomical and physical limitations of post-stroke patients. Then, the vibrotactile stimulation is built in two phases: establishing vibration sensory thresholds for age-dependent groups and synchronizing a visual environment with vibrotactile stimulation. Different vibration patterns are compared to determine the one that better corresponds to the graphic animation. The stimulation was designed, drawing inspiration from the natural muscle activation of the muscles during grasping. Following the validation of the stimulation, the BCI is assessed with a group of neurotypical participants to measure its efficacy in improving KMI and evaluate its acceptability, usability, and reliability. Three feedback modalities (vibrotactile, visual and bimodal - vibrotactile and visual) are compared to determine their effectiveness. This research highlights the potential of a user-centered approach for developing feedback solutions that enhance motor imagery and rehabilitation outcomes. Furthermore, an experimental protocol is presented for future studies with post-stroke patients to assess the acceptability and usability of the meticulously designed BCI with bimodal feedback. The findings of this work lay the foundation for translating the resulting BCI into practical clinical applications, ultimately benefiting post-stroke patients

Les interfaces terre-eau, fortement vulnérables au changement climatique et à la pression anthropique, requièrent une surveillance accrue. Toutefois, l’observation ininterrompue des zones submergées et émergées demeure un défi en raison de la présence d’eau. La télédétection lidar topobathymétrique constitue une solution adéquate en assurant une représentation continue des zones terre-eau, matérialisée par des nuages de points 3D et des formes d’ondes 1D. Cependant, une pleine exploitation de ces données requiert des outils encore en attente de développement. Cette thèse présente plusieurs méthodes d’extraction de connaissances des données lidar topo-bathymétriques, incluant des approches de classification basées sur des nuages de points bi-spectraux et des formes d’ondes bispectrales. En outre, des réseaux de neurones profonds sont conçus pour la segmentation sémantique, la détection et la classification d’objets, ainsi que l’estimation de paramètres physiques de l’eau à partir des formes d’ondes bathymétriques. L’utilisation de modèles de transfert radiatif guide des approches visant à réduire la nécessité de données labélisées, améliorant ainsi le traitement des formes d’ondes lidar dans les eaux très peu profondes ou turbides
Land-water interfaces face escalating threats from climate change and human activities, necessitating systematic observation to comprehend and effectively address these challenges. Nevertheless, constraints associated with the presence of water hinder the uninterrupted observation of submerged and emerged areas. Topo-bathymetric lidar remote sensing emerges as a suitable solution, ensuring a continuous representation of landwater zones through 3D point clouds and 1D waveforms. However, fully harnessing the potential of this data requires tools specifically crafted to address its unique characteristics. This thesis introduces methodologies for extracting environmental knowledge from topobathymetric lidar surveys. Initially, we introduce methods for classifying land and seabed covers using bi-spectral point clouds or waveform features. Subsequently, we employ deep neural networks for semantic segmentation, component detection and classification, and the estimation of water physical parameters based on bathymetric waveforms. Leveraging radiative transfer models, these approaches alleviate the need for manual waveform labeling, thereby enhancing waveform processing in challenging settings like extremely shallow or turbid waters

Cette thèse présente trois contributions pour améliorer la reconnaissance d’imaginations motrices utilisées par de nombreuses interfaces cerveau-ordinateur (BCI) comme moyen d'interaction. Tout d'abord, nous proposons d'estimer la qualité des images motrices en détectant des valeurs aberrantes et de les supprimer avant apprentissage. Ensuite, nous étudions la sélection des caractéristiques pour sept imaginations de mouvements. Enfin, nous présentons une architecture d'apprentissage profond reprenant les principes du réseaux EEGnet applicable directement sur des signaux électro-encéphalographiques simplement filtrés et adapté au nombre d’électrodes. Nous montrons en particulier ses bénéfices pour l'amélioration de la détection des réveils peropératoires et d'autres applications
This thesis presents three contributions to improve the recognition of motor imaginary movements used by numerous brain-computer interfaces (BCI) as types of interaction. First of all, we propose to estimate the quality of motor images by detecting outliers and removing them before training. Next, we study the feature selection for seven different motor imaginary movements. Finally, we present a deep learning architecture based on the principles of EEGNet network applied directly on raw electroencephalographic signals and adapted to the number of electrodes. We show in particular its benefits for improving the detection of intraoperative awareness and other applications

Les Interfaces Cerveau Ordinateur (ICO) permettent l’interaction à partir de l’activité cérébrale. La Réalité Augmentée (RA) elle, permet d’intégrer des éléments virtuels dans un environnement réel. Dans cette thèse, nous avons cherché à concevoir des systèmes interactifs exploitant des ICO dans des environnements RA, afin de proposer de nouveaux moyens d’interagir avec des éléments réels et virtuels. Dans la première partie de cette thèse, nous avons étudié la possibilité d’extraire différents signaux cérébraux dans un contexte de RA. Nous avons ainsi montré qu’il était possible d’exploiter les Potentiels Evoqués Visuels Stationnaires (SSVEP) en RA. Puis, nous avons montré la possibilité d’extraire des Potentiels d’Erreur des signaux cérébraux, lorsqu’un utilisateur est soumis à des types d’erreurs fréquents en RA. Dans la seconde partie, nous avons approfondi nos recherches sur l’utilisation des SSVEP pour l’interaction en RA. Nous avons notamment proposé HCCA, un nouvel algorithme permettant la reconnaissance asynchrone de réponses SSVEP. Nous avons ensuite étudié la conception d’interfaces de RA, pour des systèmes interactifs, intuitifs performants. Enfin nous avons illustré nos résultats à travers le développement d’un système de domotique utilisant les SSVEP et la RA, qui s’intègre à une plateforme de maison intelligente industrielle
Brain-Computer Interfaces (BCI) enable interaction directly from brain activity. Augmented Reality (AR) on the other hand, enables the integration of virtual elements in the real world. In this thesis, we aimed at designing interactive systems associating BCIs and AR, to offer new means of hands-free interaction with real and virtual elements. In the first part, we have studied the possibility to extract different BCI paradigms in AR. We have shown that it was possible to use Steady-State Visual Evoked Potentials (SSVEP) in AR. Then, we have studied the possibility to extract Error-Related Potentials (ErrPs) in AR, showing that ErrPs were elicited in users facing errors, often occurring in AR. In the second part, we have deepened our research in the use of SSVEP for direct interaction in AR. We have proposed HCCA, a new algorithm for self-paced detection of SSVEP responses. Then, we have studied the design of AR interfaces, for the development of intuitive and efficient interactive systems. Lastly, we have illustrated our results, through the development of a smart-home system combining SSVEP and AR, which integrates in a commercially available smart-home system

Les traumatismes médullaires, ainsi que les myopathies, les accidents vasculaires cérébraux ou les amputations peuvent entraîner de très lourds handicaps où la commande motrice ne peut plus être exécutée correctement. Les interfaces cerveau-machine ont été développées pour contrecarrer ces déficits. La plupart des groupes de recherche travaillant dans le domaine ont conçu des interfaces qui tentent de reconstruire un mouvement à partir de l'activité neuronale du cerveau. Dans notre cas, nous attaquons le problème différemment en conditionnant un neurone ou un petit nombre d'entre eux dans le cortex moteur de rats éveillés afin qu'ils contrôlent la vitesse d'un actuateur en une dimension en augmentant ou en diminuant leur taux de décharge. Dans ce protocole, connaître l'espace initial de codage des neurones conditionnés n'était pas un prérequis. Nous avons observé que l'activité de la plupart des neurones pouvait être modulée par conditionnement opérant, et pouvaient contrôler en temps réel et pendant plusieurs secondes la position d'une bouteille contenant une récompense liquide située en face de l'animal. De plus, pendant la période d'apprentissage, les neurones conditionnés ont affiché des propriétés spéciales comparées aux autres neurones non conditionnés, en termes de variabilité du taux de décharge, de latence de la réponse et de force de la modulation. Cela constitue la première démonstration d'un outil externe contrôlé en temps réel par des neurones conditionnés devant ajuster leur activité selon des objectifs constamment redéfinis.

Se réveiller pendant une intervention chirurgicale est une expérience terrifiante à la fois pour les patients, qui la redoute mais également pour le personnel médical qui craint que cette situation ne se produise sous leur autorité. On nomme ce type de phénomène “un réveil peropératoire durant l’anesthésie générale" (en anglais Accidental Awareness during a General Anesthesia; AAGA) et se définit comme étant un réveil inattendu du patient sous anesthésie générale. Cette situation apparaît lorsque l’anesthésie générale n’est pas assez profonde pour compenser l’ensemble des stimulations chirurgicales liés à l’opération. On considère que le nombre d'AAGA dans les pratiques à haut risque oscille entre 1 et 2%. Le problème est que ce type de réveil peropératoire peut provoquer une souffrance physique ou engendrer des séquelles psychologiques nommées syndromes de stress post-traumatiques (ou Posttraumatic stress disorder – PTSD). Les PTSDs consécutifs peuvent durer plusieurs années et causer des effets psychologiques graves allant jusqu’au suicide. “Je ne pouvais pas respirer, je ne pouvais pas bouger ou ouvrir mes yeux, ni même dire aux docteurs que je n’étais pas endormi”. Ce témoignage montre que la première réaction d'un patient est généralement de bouger pour alerter le personnel médical de cette situation terrifiante. Malheureusement, pendant la majorité des interventions chirurgicales, le patient est curarisé, ce qui provoque un blocage neuromusculaire et empêche tout mouvement de celui-ci. L’innovation proposée dans cette thèse est d’étudier l’activité cérébrale motrice sous anesthésie générale dans le but de mieux détecter les réveils peropératoires. En théorie, la détection d’une intention de mouvement est possible en analysant le signal EEG du cortex moteur via une interface cerveau-ordinateur (BCI). En effet, la phase de préparation ainsi l'exécution d’une intention de mouvement présentent des variations de puissance (i.e., Event-related (de)-sycnhronization) dans les bandes alpha et bêta du signal EEG. La stimulation électrique du nerf médian induit également des changements de l’activité corticale visible dans le signal EEG et comparable à une intention de mouvement. Ce qui est intéressant, c’est que lorsqu’une intention de mouvement de la main intervient en même temps qu’une stimulation du nerf médian, la signature corticale dite ERD/ERS% est amplifiée et peut être détectée par une BCI. Une des grandes originalités de ce projet est d’exploiter ce phénomène pour mieux détecter les intentions de mouvement. Pour concevoir une BCI qui permettrait de détecter les réveils peropératoires chez les patients, cette thèse repose sur trois disciplines (i.e. anesthésie, neurophysiologie, informatique) et vise trois objectifs majeurs: (i) étudier l’effet des anesthésiques sur le signal EEG du cortex moteur, (ii) réussir à détecter la tentative de mouvement du patient sans marqueurs temporels en utilisant un nouveau type de BCI basée sur la stimulation du nerf médian et (iii) étudier l'activité cérébrale motrice dans des conditions cliniques qui seront proches d'un réveil peropératoire
Waking up during surgery is a terrifying experience for patients, who fear it, but also for medical staff, who are worried that the situation will occur under their supervision. This type of phenomenon is called "an Accidental Awareness during a General Anesthesia” (AAGA) and is defined as an unexpected awakening of the patient under general anesthesia. This situation occurs when the general anesthesia is insufficiently deep to compensate all the surgical stimuli related to the surgery. AAGA rate in high-risk practices (e.g. obstetric, cardiac, thoracic) is considered to vary from 1-2%. The problem is that such intraoperative awakening can cause physical pain or lead to psychological sequelae called post-traumatic stress disorder (PTSD). Consecutive PTSDs can last for several years and have serious psychological effects leading to suicide. "I couldn't breathe, I couldn't move or open my eyes, or even tell the doctors I wasn't asleep.". This testimony shows that a patient's first reaction is usually to move to alert medical staff of this terrifying situation. Unfortunately, during the majority of surgical procedures, the patient is curarized, which causes neuromuscular block and prevents any movement of the patient. The innovation proposed by this thesis is to detect AAGA reliably by analysing, in real-time, motor brain activity under general anesthesia. In theory, detection of movement intention is possible by analyzing EEG signals from the motor cortex via a brain-computer interface (BCI). Indeed, both a movement execution but also a simple movement intention are characterized by power variations (i.e., Event-related (de)-synchronization called ERD/ERS) in the EEG alpha and beta bands over the motor cortex. Electrical stimulation of the median nerve also induces changes in cortical activity which are visible in the EEG signal and similar to an intention of movement. Interestingly, when an intention to move a hand occurs at the same time as a median nerve stimulation, the ERD/ERS cortical signature is amplified and can be detected better by a BCI based on specific machine learning techniques. In order to design a BCI that would allow the detection of AAGA, this thesis is based on three disciplines (i.e. anesthesia, neurophysiology, computer science) and has three major objectives: (i) to study the effect of anaesthetics on the EEG signal of the motor cortex, (ii) to detect the patient's attempted movement without temporal markers using a BCI based on median nerve stimulation and (iii) to study motor brain activity in clinical conditions that will be close to intraoperative recovery

Le besoin fondamental de cette étude est de pouvoir prévoir fidèlement le comportement de la structure finale de fil, basée sur le comportement physique et les propriétés mécaniques sous différentes charges appliquées de l'éventail de structures disponibles. Au delà du caractère scientifique de la prévision, on peut utiliser le même fondement informatisé pour simuler virtuellement les tests et expériences de laboratoire (prédiction de nouveau matériau technique) ou pour générer des animations réalistes à caractères artistiques (design de textile habillement). Par conséquent, modéliser et prédire les différents comportements dans la chaîne de création textile par l’outil informatique fournit un gain de temps et de main d'œuvre considérables. La simulation des essais de laboratoire de produits textiles dans le secteur habillement peut par la suite mener à des produits améliorés, conduire à des taux plus élevés de succès de produit ou réduire la quantité de produits invendus, et entraîner au final une hausse du chiffre d'affaire. Par l'infographie, il est possible de mettre en œuvre une chaîne virtuelle de tests comparatifs de produits utilisant une norme spécifique basée sur des critères de qualité de la simulation obtenue. Le côté novateur de notre travail de recherche est la structure variable-même du diamètre des fibres. Voilà comment, le modèle réel du fil est simulé, par la présentation préliminaire d’une structure 2D qui simule la variation des diamètres du fil et après par la présentation 3D de celle-ci, et le moyen dont la variation est construite, par la répétition de la portion simulée. L’utilisation des courbes d’interpolation représentées par les polynômes Bézier dans le cadre de ce travail, correspond à une nouvelle approche, surtout dans le domaine de la variation par section des fils type laine peignée.Dans ce contexte on a obtenu ainsi un modèle valable du fil, modèle qui est souhaitable à être étendu et validé aussi pour d’autres types de fils. L’objectif principal de ce travail est de compléter les recherches réalisées dans le cadre des applications de modélisation et simulation textile. Par l’utilisation des outils 3D, les entreprises peuvent réduire le temps nécessaire à l’amélioration des produits. Les conséquences immédiates sont la réduction des coûts et des heures de travail. L’augmentation de la puissance et de la vitesse des technologies de calcul, mais aussi la réduction de leur prix, font possible la mise en œuvre des outils virtuels pour améliorer le niveau réaliste et technique de la qualité des simulations
The basic need of this study, would be to predict accurately yarn structure behavior based on the physical behavior and mechanical properties under different loads applied to the range. Beyond the scientific nature of the forecast, we can use the same computer to simulate virtually ground tests and laboratory experiments (prediction of new material technology) or to generate realistic animation art characters (design of textiles and clothing).Therefore, to model and to predict the different behavior in the chain of textile design by the a tool provides a gain of time and considerable manpower. Simulation of laboratory tests for textile products in the clothing industry may eventually lead to improved products, lead to higher rates of successful or reduce the amount of unsold goods, and lead ultimately to an increase in sales. In computer graphics, it is possible to implement a virtual chain of comparative testing using a specific standard based on criteria of quality obtained by simulation. The innovative aspect of our research is the generation of a structure with a variable diameter structure. The real model of the yarn is simulated by presenting a preliminary 2D structure that simulates the change in diameter and after the 3D presentation of it, the repetition of the simulated part is also an important part.The use of interpolation curves represented by Bezier polynomials in the context of this work represents a new approach, especially in the area of natural yarns sectional variation.In this context we obtained a valid model of the yarn in order to extended and validated theother one that are allready developed The main objective of this work is to complement research conducted in the framework of modeling and simulation applications textiles. By using 3D tools, companies can reduce the time required for product improvement. The immediate consequences are the reduction of costs and working hours. The increased power and speed of computing technologies, but also reducing their prices, make possible the implementation of virtual tools to improve the realistic level of quality and technical simulations

Les interfaces cerveau-ordinateur (ou BCI en anglais pour Brain-Computer Interfaces) mettent en place depuis le système nerveux central un circuit artificiel secondaire qui remplace l’utilisation des nerfs périphériques, permettant entre autres à des personnes ayant une déficience motrice grave d’interagir, uniquement à l’aide de leur activité cérébrale, avec différents types d’applications, tels qu’un système d’écriture, une neuro-prothèse, un fauteuil roulant motorisé ou un bras robotique. Une technique répandue au sein des BCI pour enregistrer l’activité cérébrale est l’électroencéphalographie (EEG), étant donné que contrairement à d’autres techniques d’imagerie, elle est non invasif et peu coûteuse. En outre, l’imagination motrice (MI), c’est-à-dire les oscillations des neurones du cortex moteur générées lorsque les sujets imaginent effectuer un mouvement sans réellement l’accomplir, est appropriée car détectable dans l’EEG et liée à l’activité motrice pour concevoir des interfaces comme des neuro-prothèses non assujetties à des stimuli. Cependant, même si des progrès importants ont été réalisés au cours des dernières années, un contrôle 3D complet reste un objectif à atteindre. Afin d’explorer de nouvelles solutions pour surmonter les limitations existantes, nous présentons une approche multiclasses qui considère la détection des imaginations motrices combinées. Le paradigme proposé comprend l’utilisation de la main gauche, de la main droite, et des deux pieds ensemble. Ainsi, par combinaison, huit commandes peuvent être fournies pour diriger un bras robotisé comprenant quatorze mouvements différents qui offrent un contrôle 3D complet. À cette fin, un système de commutation entre trois modes (déplacement du bras, du poignet ou des doigts) a été conçu et permet de gérer les différentes actions en utilisant une même commande. Ce système a été mis en oeuvre sur la plate-forme OpenViBE. En outre, pour l’extraction de caractéristiques une nouvelle approche de traitement d’information fournie par les capteurs a été développée sur la base de l’emplacement spécifique des sources d’activité liées aux parties du corps considérées. Cette approche permet de regrouper au sein d’une seule classe les différentes actions pour lesquelles le même membre est engagé, d’une manière que la tâche multiclasses originale se transforme en un problème équivalent impliquant une série de modèles de classification binaires. Cette approche permet d’utiliser l’algorithme de Common Spatial pattern (CSP) dont la capacité à discriminer des rythmes sensorimoteurs a été largement montrée mais qui présente l’inconvénient d’être applicable uniquement pour différencier deux classes. Nous avons donc également contribué à une nouvelle stratégie qui combine un ensemble de CSP et la géométrie riemannienne. Ainsi des caractéristiques plus discriminantes peuvent être obtenues comme les distances séparant les données des centres des classes considérées. Ces stratégies ont été appliquées sur trois nouvelles approches de classification qui ont été comparées à des méthodes de discrimination multiclasses classiques en utilisant les signaux EEG d’un groupe de sujets sains naïfs, montrant ainsi que les alternatives proposées permettent non seulement d’améliorer l’existant, mais aussi de réduire la complexité de la classification
Brain-Computer Interfaces (BCIs) replace the natural nervous system outputs by artificial ones that do not require the use of peripheral nerves, allowing people with severe motor impairments to interact, only by using their brain activity, with different types of applications, such as spellers, neuroprostheses, wheelchairs, or among others robotics devices. A very popular technique to record signals for BCI implementation purposes consists of electroencephalography (EEG), since in contrast with other alternatives, it is noninvasive and inexpensive. In addition, due to the potentiality of Motor Imagery (MI, i.e., brain oscillations that are generated when subjects imagine themselves performing a movement without actually accomplishing it) to generate suitable patterns for scheming self-paced paradigms, such combination has become a common solution for BCI neuroprostheses design. However, even though important progress has been made in the last years, full 3D control is an unaccomplished objective. In order to explore new solutions for overcoming the existing limitations, we present a multiclass approach that considers the detection of combined motor imageries, (i.e., two or more body parts used at the same time). The proposed paradigm includes the use of the left hand, right hand, and both feet together, from which eight commands are provided to direct a robotic arm comprising fourteen different movements that afford a full 3D control. To this end, an innovative switching-mode scheme that allows managing different actions by using the same command was designed and implemented on the OpenViBE platform. Furthermore, for feature extraction a novel signal processing scheme has been developed based on the specific location of the activity sources that are related to the considered body parts. This insight allows grouping together within a single class those conditions for which the same limb is engaged, in a manner that the original multiclass task is transformed into an equivalent problem involving a series of binary classification models. Such approach allows using the Common Spatial Pattern (CSP) algorithm; which has been shown to be powerful at discriminating sensorimotor rhythms, but has the drawback of being suitable only to differentiate between two classes. Based on this perspective we also have contributed with a new strategy that combines together the CSP algorithm and Riemannian geometry. In which the CSP projected trials are mapped into the Riemannian manifold, from where more discriminative features can be obtained as the distances separating the input data from the considered class means. These strategies were applied on three new classification approaches that have been compared to classical multiclass methods by using the EEG signals from a group of naive healthy subjects, showing that the proposed alternatives not only outperform the existing schema, but also reduce the complexity of the classification task

Dans les dernières décennies, la réalité virtuelle a connu un essor fulgurant dans de nombreuses disciplines. Elle permet via des paradigmes d’interaction et d’immersion de plonger l’utilisateur au cœur d’un environnement artificiel crée numériquement. Ces paradigmes s’appuient sur l’utilisation des interfaces sensori-motrices bien spécifiques qui permettent à l’utilisateur d’interagir et accomplir des tâches particulières dans l’environnement virtuel. Néanmoins, des nombreux problèmes, d’origine technologique, sont souvent présents et peuvent pénaliser la qualité de l’interaction ainsi que le degré d’immersion de l’utilisateur dans l’environnement virtuel.L’objectif de cette thèse est de proposer une procédure complète visant à guider l’utilisateur à calibrer une interface sensori-motrice spécifique et par conséquent tenter de pallier à certains défauts technologiques. L’originalité de la thèse réside dans l’utilisation d’une approche qui combine deux domaines de recherche qui ne s’associent que très rarement : celui du traitement de données et celui de la réalité virtuelle. Cette approche servira de cadre théorique et technique pour la conception d’une procédure de calibration complète permettant de garantir une interaction continue et précise dans l’environnement virtuel.Afin de contrebalancer les défauts et limites techniques, le travail a été conduit sur plusieurs fronts : acquisition, traitement de données et validation. La première phase est marquée par l’utilisation d’un protocole innovant dans la mesure où il repose sur les techniques de réalité virtuelle pour récolter les données de calibration. Dans la deuxième phase, deux techniques de calibration ont été proposées pour améliorer la précision absolue de l’interface de réalité virtuelle. Les deux techniques se distinguent par leurs qualités d’approximateurs universels ainsi que par leurs capacités à estimer les sorties du système concerné à partir des entrées sans connaître à priori son modèle mathématique. Dans la dernière phase, deux prototypes d’applications de réalité virtuelle ont été développées pour s’assurer de la pertinence de notre approche
Over last decades, virtual reality has been widely used in many disciplines. It is able to plunge the user at the heart of an artificial environment created digitally through interaction and immersion paradigms. These paradigms are based on the use of very specific interfaces that help user to interact and performspecific tasks in the virtual environment. Nevertheless, many technical problems are often present and may penalize the quality of that interaction and may break user immersion in the virtual environment.The goal of this thesis is to build a comprehensive procedure to guide the user to calibrate a virtual reality interface and therefore attempt to overcome some technological shortcomings. The originality of the thesis is the use of an approach that combines two areas of research that will combine very rarely, that of data processing and the virtual reality. This approach will provide theoretical and technical framework for the design of a comprehensive calibration procedure to ensure continuous and precise interaction in the virtual environment.To overcome problems described above, the work was conducted on several fronts :data acquisition, processing and validation. The first step is by the use of a new protocol insofar as it is based on virtual reality techniques to collect calibration data. In second step, two calibration methods have been proposed to improve the absolute accuracy of the virtual reality interface. Both methods are universal approximators as well as their ability to estimate the outputs of the involved system from inputs even the model of the system being calibrated remains unknown. In the last step, two virtual reality applications prototypes were developed in order to assess the relevance of our approach

Cette thèse d’inscrit dans le cadre de conception d’Interface Homme-Machine gestuelle pour la commande d’un système d'assistance robotique. Nous nous sommes intéressés aux interfaces naturelles qui répondent bien à cette problématique. Les différents travaux de cette thèse se sont concentrés sur les algorithmes de traitement d’image pour la détection du visage et sa localisation en 3D qui permettent de proposer un moyen de contrôle qui s’adapte au degré d'incapacité de l'utilisateur. La problématique à été traitée incrémentalement suivant le système de vision utilisé : monoculaire puis stéréoscopique. Les travaux utilisant la vision monoculaire nous ont permis d’approcher la détection du visage planaire par des algorithmes d’apprentissage s’inspirant des travaux de Viola et Jones en boostant un comité de réseaux de neurones. Nous proposons dans la deuxième partie de ce travail une approche d’estimation de la pose du visage utilisant des séquences d'images stéréoscopiques pré-calibrées. L’approche proposée se compose de deux étapes : Estimation temps réel de la profondeur utilisant une séquence d’image stéréoscopique puis l’alignement d’un modèle générique sur le nuage de points 3D afin d’en déduire la pose
This work deals with Human-Machine Interface for assistive robotic systems. Assistive systems should be endowed with interfaces that are specifically designed for disabled people in order to enable them to control the system with the most natural and less tiring way. This is the primary concern of this work. More precisely, we were interested in developing a vision based interface using user’s head movement. The problem was tackled incrementally following the system used: monocular and stereoscopic camera. Using monocular camera, we proposed a new approach for learning faces using a committee of neural networks generated using the well known Adaboost. We proposed training the neural network with reduced space Haar-like features instead of working with image pixels themselves. In the second part, we are proposing to tackle the head pose estimation in its fine level using stereo vision approach. The framework can be break down into two parts: The first part consists in estimating the 3D points set using stereoscopic acquisition and the second one deals with aligning a Candide-1 model with the 3D points set. Under alignment, the transformation matrix of the Candide model corresponds to the head pose parameters

Les interfaces cerveau-ordinateur (ou BCI en anglais pour Brain-Computer Interfaces) mettent en place depuis le système nerveux central un circuit artificiel secondaire qui remplace l’utilisation des nerfs périphériques, permettant entre autres à des personnes ayant une déficience motrice grave d’interagir, uniquement à l’aide de leur activité cérébrale, avec différents types d’applications, tels qu’un système d’écriture, une neuro-prothèse, un fauteuil roulant motorisé ou un bras robotique. Une technique répandue au sein des BCI pour enregistrer l’activité cérébrale est l’électroencéphalographie (EEG), étant donné que contrairement à d’autres techniques d’imagerie, elle est non invasif et peu coûteuse. En outre, l’imagination motrice (MI), c’est-à-dire les oscillations des neurones du cortex moteur générées lorsque les sujets imaginent effectuer un mouvement sans réellement l’accomplir, est appropriée car détectable dans l’EEG et liée à l’activité motrice pour concevoir des interfaces comme des neuro-prothèses non assujetties à des stimuli. Cependant, même si des progrès importants ont été réalisés au cours des dernières années, un contrôle 3D complet reste un objectif à atteindre. Afin d’explorer de nouvelles solutions pour surmonter les limitations existantes, nous présentons une approche multiclasses qui considère la détection des imaginations motrices combinées. Le paradigme proposé comprend l’utilisation de la main gauche, de la main droite, et des deux pieds ensemble. Ainsi, par combinaison, huit commandes peuvent être fournies pour diriger un bras robotisé comprenant quatorze mouvements différents qui offrent un contrôle 3D complet. À cette fin, un système de commutation entre trois modes (déplacement du bras, du poignet ou des doigts) a été conçu et permet de gérer les différentes actions en utilisant une même commande. Ce système a été mis en oeuvre sur la plate-forme OpenViBE. En outre, pour l’extraction de caractéristiques une nouvelle approche de traitement d’information fournie par les capteurs a été développée sur la base de l’emplacement spécifique des sources d’activité liées aux parties du corps considérées. Cette approche permet de regrouper au sein d’une seule classe les différentes actions pour lesquelles le même membre est engagé, d’une manière que la tâche multiclasses originale se transforme en un problème équivalent impliquant une série de modèles de classification binaires. Cette approche permet d’utiliser l’algorithme de Common Spatial pattern (CSP) dont la capacité à discriminer des rythmes sensorimoteurs a été largement montrée mais qui présente l’inconvénient d’être applicable uniquement pour différencier deux classes. Nous avons donc également contribué à une nouvelle stratégie qui combine un ensemble de CSP et la géométrie riemannienne. Ainsi des caractéristiques plus discriminantes peuvent être obtenues comme les distances séparant les données des centres des classes considérées. Ces stratégies ont été appliquées sur trois nouvelles approches de classification qui ont été comparées à des méthodes de discrimination multiclasses classiques en utilisant les signaux EEG d’un groupe de sujets sains naïfs, montrant ainsi que les alternatives proposées permettent non seulement d’améliorer l’existant, mais aussi de réduire la complexité de la classification
Brain-Computer Interfaces (BCIs) replace the natural nervous system outputs by artificial ones that do not require the use of peripheral nerves, allowing people with severe motor impairments to interact, only by using their brain activity, with different types of applications, such as spellers, neuroprostheses, wheelchairs, or among others robotics devices. A very popular technique to record signals for BCI implementation purposes consists of electroencephalography (EEG), since in contrast with other alternatives, it is noninvasive and inexpensive. In addition, due to the potentiality of Motor Imagery (MI, i.e., brain oscillations that are generated when subjects imagine themselves performing a movement without actually accomplishing it) to generate suitable patterns for scheming self-paced paradigms, such combination has become a common solution for BCI neuroprostheses design. However, even though important progress has been made in the last years, full 3D control is an unaccomplished objective. In order to explore new solutions for overcoming the existing limitations, we present a multiclass approach that considers the detection of combined motor imageries, (i.e., two or more body parts used at the same time). The proposed paradigm includes the use of the left hand, right hand, and both feet together, from which eight commands are provided to direct a robotic arm comprising fourteen different movements that afford a full 3D control. To this end, an innovative switching-mode scheme that allows managing different actions by using the same command was designed and implemented on the OpenViBE platform. Furthermore, for feature extraction a novel signal processing scheme has been developed based on the specific location of the activity sources that are related to the considered body parts. This insight allows grouping together within a single class those conditions for which the same limb is engaged, in a manner that the original multiclass task is transformed into an equivalent problem involving a series of binary classification models. Such approach allows using the Common Spatial Pattern (CSP) algorithm; which has been shown to be powerful at discriminating sensorimotor rhythms, but has the drawback of being suitable only to differentiate between two classes. Based on this perspective we also have contributed with a new strategy that combines together the CSP algorithm and Riemannian geometry. In which the CSP projected trials are mapped into the Riemannian manifold, from where more discriminative features can be obtained as the distances separating the input data from the considered class means. These strategies were applied on three new classification approaches that have been compared to classical multiclass methods by using the EEG signals from a group of naive healthy subjects, showing that the proposed alternatives not only outperform the existing schema, but also reduce the complexity of the classification task

Dans le domaine de l’électromagnétisme computationnel, les équations intégrales de frontière sont très largement utilisées pour résoudre certains des plus grands problèmes directs, grâce à leur grande efficacité. Cependant les équations intégrales du champ électrique et du champ combiné (EFIE et CFIE), deux des formulations les plus employées, souffrent d’instabilités à basse fréquence et à haute discrétisation, ce qui limite leur versatilité. Dans cette thèse différentes approches sont présentées pour obtenir des algorithmes applicables aussi bien à des problèmes de compatibilité électromagnétique qu’à des applications radar. Les solutions présentées incluent (i) l’extension des projecteurs dit quasi-Helmholtz (qH) aux modélisations d’ordre supérieur ; (ii) l’utilisation de ces projecteurs pour stabiliser l’équation intégrale du champ magnétique et former une CFIE extrêmement précise, augmentée par des techniques de type Calderón, qui ne souffre de problèmes ni à basse fréquence ni à haute discrétisation et qui n’est pas sujette aux résonances artificielles ; (iii) le développement d’une EFIE filaire, basée sur des B-splines linéaires et les projecteurs qH, stable aux deux extrémités du spectre. Ces travaux ont été suivis de l’ouverture d’un nouvel axe de recherche visant l’amélioration des techniques de résolution des problèmes inverses en électromagnétique, avec pour objectif principal l’augmentation des performances des interfaces cerveau machine (BCIs). Les premiers résultats obtenus incluent le développement de l’un des premiers systèmes libres de simulation de bout en bout de session de BCI ayant été publié après revue par les pairs
In computational electromagnetics, boundary integral equations are the scheme of choice for solving extremely large forward electromagnetic problems due to their high efficiency. However, two of the most used of these formulations, the electric and combined field integral equations (EFIE and CFIE), suffer from stability issues at low frequency and dense discretization, limiting their applicability at both ends of the spectrum. This thesis focusses on remedying these issues to obtain full-wave solvers stable from low to high frequencies, capable of handling scenarios ranging from electromagnetic compatibility to radar applications. The solutions presented include (i) extending the quasi-Helmholtz (qH) projectors to higher order modeling thus combining stability with high order convergence rates; (ii) leveraging on the qH projectors to numerically stabilize the magnetic field integral equation and obtain a highly accurate and provably resonance-free Calderón-augmented CFIE immune to both of the aforementioned problems; and(iii) introducing a new low frequency and dense discretization stable wire EFIE based on projectors and linear B-splines. In addition, a research axis focused on enhancing Brain Computer Interface (BCIs) with high resolution electromagnetic modeling of the brain has been opened ; a particular attention is dedicated to the inverse problem of electromagnetics and the associated integral equation-based forward problem. The first results of this new line of investigations include the development of one of the first peer-reviewed, freely available framework for end-to-end simulation of BCI experiments