Academic literature on the topic 'Interaction humain-machine – Prise de décision'

Le domaine de l’" affective computing " est par essence pluridisciplinaire, en regroupant trois technologies : la reconnaissance des émotions des humains, le raisonnement et la prise de décision en utilisant les informations recueillies, et la génération d’expressions émotionnelles. La sphère des émotions que l’on pouvait penser propre à l’humain envahit les machines qui se rapprochent des capacités humaines. Dans le cas de maltraitance d’un robot notamment, l’être humain peut ressentir de l’empathie envers un agent artificiel, alors que ce dernier ne fait que simuler des émotions et ne peut pas souffrir. La machine est programmée, sans intention ni désir propres, mais il faut le rappeler. L’arrivée des robots empathiques soulève depuis peu de nombreuses questions éthiques, juridiques et sociales.

Ces dernières décennies, les pêcheries artisanales sénégalaises ont été marquées par d’importantes innovations en réponse aux politiques de pêche et aux fluctuations de l’abondance des ressources. Cet article aborde l’adéquation des politiques avec les contraintes et les enjeux du secteur dans une perspective d’intégration des innovations dans la prise de décision. Il apparaît que les tentatives de modernisation en remplaçant les pirogues par des bateaux semi-industriels ont échoué. La capacité des pêcheurs à considérer de nouvelles innovations et stratégies a pu garantir plus de viabilité et de résilience à leurs activités. L’adaptabilité leur a permis de réagir à divers chocs exogènes d’ordre économique et à la variabilité de l’abondance et de la demande en poisson. Ces interactions adaptatives entre capital naturel et capital humain confortent la notion de « durabilité faible » dans le domaine de la pêche.

Cet article étudie les enjeux philosophiques abordés par Ian McEwan dans Machines like Me (2019), où il décrit les interactions complexes entre des robots humanoïdes commerciaux et leurs propriétaires humains. J'aimerais me concentrer spécifiquement sur la notion d'empathie que McEwan revisite et complexifie au fur et à mesure que les personnages interagissent et qu’Adam, le robot qui incarne l’IA, évolue. La présentation des personnages de robots humanoïdes, les Adam et les Eve, fait appel à plusieurs techniques d'empathie : le lecteur est ainsi incité à s'identifier à aux humanoïdes, ce qui occulte leurs rouages internes (mécanique, électronique et intelligence artificielle). Du fait de cette construction mimétique, les robots intègrent le champ de l’humanité et la complexité des relations sociales.Deux notions qui ont récemment fait l'objet de débats philosophiques et politiques, les politiques du soin et les techniques de surveillance, structurent le cadre dans lequel évoluent les personnages humains : Charlie, Miranda et Alan Turing. J'aimerais retracer l'archéologie de ces notions et montrer comment elles s’articulent dans le roman. Le sujet est d’autant plus d’actualité que les techniques d'IA se nourrissent d'une surveillance constante de nos vies à travers la production et l'exploitation de données par des agents intelligents (Sadin 2013). En décrivant l'interaction entre les institutions, les technologies et les actions humaines, McEwan situe l'empathie sur une scène plus large, publique et collective.Enfin, à partir d’une analyse des décisions d'Adam (l'humanoïde), j'aimerais revenir sur le lien qui se noue ici entre l'empathie et computation, plutôt qu’entre empathie et émotions. La réflexion de McEwan sur l'empathie croise ici les débats sur l'éthique de l'IA, notamment en termes de prise de décision et d'évaluation des risques.

L'augmentation de la complexité des systèmes agricoles nécessite des outils d'aide à la prise de décision sophistiqués capables de gérer plusieurs critères et d'accommoder des tâches complexes d'analyse des compromis. Cette thèse développe des visualisations qui facilitent les processus de prise de décision en agronomie, avec trois contributions principales : (i) comprendre comment la provenance peut soutenir l'analyse des compromis, (ii) articuler des besoins de conception et de visualisation pour soutenir la comparaison de groupes dans des scénarios de compromis, et enfin (iii) comprendre comment différentes visualisations peuvent affecter les comparaisons et la prise de décision dans l'analyse des compromis. Après un chapitre d'introduction et un chapitre sur les travaux connexes, la thèse détaille ces trois contributions.Le 3ème chapitre examine comment les mécanismes de provenance analytique peuvent aider les experts à se souvenir et à suivre des analyses de compromis complexes. Nous avons développé VisProm, un outil web intégrant des vues de provenance dans les visualisations pour aider les experts à suivre les compromis et leurs objectifs lors de l'exploration de résultats de simulation complexes. Des sessions d'observation avec des experts ont révélé huit tâches clés soutenues par nos conceptions, mettant en lumière de nouvelles opportunités pour l'analyse des compromis guidée par la provenance, telles que le suivi de la couverture de l'espace de compromis et l'exploration de scénarios alternatifs. Un résultat clé a été la nécessité de considérer les objectifs conflictuels et de comparer comment différentes solutions ou espaces de compromis se comportent face à ces objectifs.Le 4ème chapitre explore les besoins et les défis auxquels sont confrontés les experts lorsqu'ils comparent des espaces de compromis (souvent exprimés sous forme de groupes de points de données, par exemple, des groupes de résultats de simulation) qui optimisent différents objectifs. À travers des ateliers avec des experts du domaine et des concepteurs de visualisations, nous avons identifié des besoins de conception et de visualisation pour soutenir la comparaison de groupes dans des scénarios de compromis. Ce chapitre met les bases pour développer des techniques de visualisation capables de comparer des groupes représentant différents compromis en fonction des objectifs qu'ils optimisent. Cela a mené à la mise en œuvre d'un prototype de visualisation qui encode visuellement diverses métriques de compromis, en communiquant les priorités des experts, la notion de solutions idéales, et la distance des groupes de solutions par rapport à ces idéaux.Le 5ème chapitre se concentre sur l'évaluation des techniques de visualisation pour comparer des groupes de points (solutions) lorsqu'ils représentent différents compromis. S'inspirant des besoins identifiés dans le chapitre précédent, nous avons sélectionné trois techniques prometteuses de visualisation pour les étudier. Ces techniques encodent visuellement les priorités des compromis et les solutions idéales de différentes manières, soit en couplant, soit en découplant les métriques de compromis. Nous avons mené une étude utilisateur pour comprendre comment ces visualisations influencent les décisions de comparaison et la qualité des explications de ces décisions. Les résultats montrent que les techniques qui séparent visuellement l'encodage des priorités et des solutions idéales entraînent une charge cognitive plus élevée et une confiance auto-évaluée plus faible, mais soutiennent des stratégies de décision plus variées par rapport aux visualisations intégrées. Elles étaient cependant toujours préférées par rapport à la visualisation de référence.La thèse conclut avec des discussions et des perspectives sur les directions futures issues de ce travail
The increasing complexity of agricultural systems necessitates sophisticated decision-making tools that can handle multiple criteria and accommodate complex trade-off analysis tasks. This thesis develops visualizations that facilitate decision-making processes in agronomy. This work has three main contributions: (i) understanding how provenance can support trade-off analysis, (ii) articulating high-level design and visualization needs to support group comparison in trade-off scenarios, and (iii) understanding how different visualizations can affect comparisons and decision-making in trade-off analysis. After an introductory chapter and a chapter on related work, the thesis details these three main contributions.The 3rd chapter of the thesis investigates how analytic provenance mechanisms can assist experts in recalling and tracking complex trade-off analyses. We developed VisProm, a web-based system integrating in-visualization provenance views to help experts track trade-offs and their objectives when exploring complex simulation results. Observation sessions with groups of experts revealed eight key tasks supported by our designs, highlighting new opportunities for provenance-driven trade-off analysis, such as monitoring trade-off space coverage and tracking alternative scenarios. One key outcome was the need to consider conflicting objectives and compare how different solutions or trade-off spaces fare under these objectives.Building on this, the 4th chapter explores the needs and challenges experts face when comparing trade-off spaces (that are often expressed as groups of data points, e.g., groups of simulation results) that optimize different objectives. Through workshops with domain experts and visualization designers, we identified high-level design and visualization needs to support group comparison in trade-off scenarios. This chapter lays the groundwork for developing effective visualization techniques for comparing groups that represent different trade-offs in terms of what objectives they optimize. They led to the implementation of a visualization prototype that visually encodes a variety of trade-off metrics. These encode and visually communicate experts' priorities in terms of objectives, the notion of ideal solutions, and how far current groups of solutions are from those ideals.The 5th chapter focuses on the evaluation of visualization techniques for comparing groups of points (solutions) when they represent different trade-offs. Motivated by the visualization needs and design requirements of the previous chapter, we selected three promising tabular-based visualization techniques to study. These techniques encode trade-off priorities and ideal solutions in different ways: coupling or decoupling the trade-off metrics and presenting them visually. We conducted a user study to understand how visualizations affected comparison decisions and quality of decision explanations. The findings from this study highlight that techniques that visually separate the encoding of priorities and ideal solutions lead to higher mental load and lower self-reported trust but may support more varied decision strategies than integrated visualizations. But they were always preferred over a baseline visualization.We conclude the thesis with a list of discussions and perspectives for future directions stemming from the results of this work

Avec l'essor des systèmes d'aide à la décision intégrant l'intelligence artificielle (AI) dans le domaine médical, judiciaire ou du recrutement, la confiance entre l'humain et l'IA est devenue une priorité dans la conception de ces systèmes. De nombreux gouvernements et grandes entreprises ainsi que des chercheurs proposent diverses stratégies pour favoriser la confiance dans les systèmes intégrant l'IA. Cependant, la confiance est un concept complexe et multidimensionnel, et la confiance entre l'humain et l'IA, qui est un sujet de recherche récent, fait face à plusieurs défis. Sur le plan théorique, la différence entre la confiance et d'autres concepts théoriques proches (par exemple, la conformité) doit être comprise, de même que les facteurs affectant la confiance entre l'humain et l'IA. Sur le plan méthodologique, la confiance est difficile à évaluer, et il est nécessaire de définir des protocoles appropriés. Dans cette thèse, je traite de ces défis de manière empirique à travers deux perspectives : académique et industrielle. J'effectue d'abord une revue systématique de la littérature des études empiriques sur la confiance entre l'humain et l'IA dans le contexte de la prise de décision afin d'obtenir une vue globale de la façon dont la confiance est définie et évaluée dans le monde académique. Cependant, comme la plupart de ces études sont en laboratoire et avec des maquettes d'IA, je poursuis cette analyse pour savoir dans quelle mesure ces résultats sont valables sur le terrain avec des vrais systèmes intégrant l'IA et différentes parties prenantes. Pour cela, je mène une série d'entretiens semi-structurés autour de la définition et de l'évaluation de la confiance entre l'humain et l'IA. Les participants sont soit des personnes qui développent ou conçoivent des systèmes intégrant l'IA pour l'aide à la prise de décision ou bien des personnes qui sont affectées par ces décisions. Je soutiens que la compréhension théorique de la confiance entre l'humain et l'IA influence directement le choix des protocoles expérimentaux et des mesures utilisés pour les études empiriques. En m'inspirant de la littérature en sciences sociales, je propose des recommandations pour améliorer ces protocoles expérimentaux. Je démontre également que la discussion de concepts théoriques, tels que la confiance entre l'humain et l'IA, avec des personnes ordinaires de différents profils peut non seulement valider les théories académiques, mais aussi contribuer à l'avancement de la théorie. Enfin, je donne un aperçu des facteurs qui peuvent affecter la confiance entre l'humain et l'IA dans le contexte de la prise de décision. En comparant les résultats provenant du monde académique avec ceux provenant de l'industrie, je souligne les opportunités pour la recherche pour les chercheurs académiques et des implications pour la conception pour les professionnels de l'IA. Cette thèse fournit des preuves théoriques et empiriques sur la confiance entre l'humain et l'IA dans le contexte de la prise de décision et ouvre des voies pour promouvoir la confiance dans l'interaction entre l'humain et l'IA
With the rise of AI-embedded systems assisting decisions in the context of medicine, justice, recruiting, Human-AI trust has become an utmost design priority. Numerous governments and large enterprises as well as researchers propose various strategies on how to foster trust in AI-embedded systems. However, trust is a complex, multifaceted concept, and Human-AI trust, being a recent research avenue, faces several challenges. On the theoretical level, the difference between trust and other related theoretical concepts (e.g. reliance, compliance, and trustworthiness) needs to be understood as well as the factors affecting Human-AI trust. On the methodological level, trust is difficult to assess, and appropriate protocols have to be understood. In this thesis, I tackle these challenges empirically through two lenses - academia and industry. I first conduct a systematic literature review of empirical studies on Human-AI trust in the context of decision making to get an overview of how trust is defined and evaluated in academia. However, as most studies are focusing on users' trust investigated in the controlled lab setting with AI mock-ups, I go further to investigate to which extent these findings hold true for other stakeholders with AI-embedded systems deployed in the market. To do so, I conduct a series of semi-structured interviews on the topic of Human-AI trust definitions and evaluation with people who develop and design AI-embedded systems assisting decision making and with people who are affected by these decisions. I argue that theoretical understanding of Human-AI trust directly affects experimental protocol and measures choices. Drawing from the social sciences literature, I propose guidelines on improving experimental protocols for studying Human-AI trust in the context of decision making. I also demonstrate that discussing theoretical concepts, such as Human-AI trust, with laypeople of different backgrounds not only can validate the academic theories, but also potentially contribute to theoretical advancement. Lastly, I provide an overview of factors that can affect Human-AI trust in the context of decision making and, based on the comparison between the findings of academia and industry, I highlight research opportunities and design implications for academic researchers and AI practitioners. This thesis provides theoretical and empirical evidence on Human-AI trust in the context of decision making and opens the ways to support trust in Human-AI interaction

Bien que la collaboration humain-robot puisse être bénéfique, la plupart des robots actuels travaillent dans des espaces physiquement séparés de l'humain ou alors leurs capacités sont drastiquement limitées à proximité d'un humain. Ce travail vise à combler le fossé entre les capacités robotiques et les attentes humaines, en favorisant une nouvelle ère de collaboration transparente et intuitive entre les humains et les robots dans des environnements partagés pour réaliser à la fois des tâches industrielles, de services ou domestiques. Plus précisément, ce manuscrit présente une étude sur la prise de décision dans le contexte de la collaboration humain-robot, en particulier dans les domaines de la navigation et de la planification des tâches. D'abord, nous discutons de divers travaux en lien avec la Collaboration Humain-Robot afin de mieux comprendre le contexte de mon travail. Après une familiarisation avec le planificateur de tâches HATP/EHDA, je présente ma première contribution qui incorpore certains concepts de la Théorie De l'Esprit dans la planification de tâches. Certains modèles et algorithmes sont proposés et évalués pour mieux estimer et maintenir les connaissances de l'humain afin de mieux anticiper son comportement. Ainsi, nous pouvons identifier quand l'humain a une fausse connaissance d'un fait évalué comme pertinent pour la tâche. Dans ce cas, le robot peut informer l'humain de manière proactive pour corriger la fausse information ou le robot peut retarder volontairement ses actions afin qu'elles soient vu par l'humain. Les résultats montrent que ce schéma permet de maintenir efficacement les connaissances de l'humain et permet de résoudre une classe plus large de problèmes que HATP/EHDA tout en ne communiquant pas systématiquement. Ma deuxième contribution est une nouvelle approche de planification des tâches produisant une politique comportementale du robot assurant une collaboration fluide où l'humain a toujours une latitude de décision totale et où le robot se conforme toujours en parallèle à ces décisions. Cette approche est basée sur un modèle d'action conjointe simultanée et accommodante que nous avons conçu. Ce modèle, sous la forme d'un automate, tient compte de l'incontrôlabilité de l'humain et des signaux sociaux. Nous proposons également une nouvelle méthode d'évaluation et de sélection des plans basée sur l'estimation des préférences internes de l'humain concernant la tâche. Les résultats empiriques montrent que cette approche permet un comportement concourant du robot qui se conforme aux décisions et aux préférences en temps réel de l'humain.Pour valider l'approche précédente, nous avons mené une étude utilisateur à l'aide d'un simulateur spécialement développé à cet effet. Les participants ont été invités à collaborer dans plusieurs scénarios avec un robot simulé suivant les politiques produites par notre approche. Nous avons utilisé comme référence une approche opposée à la nôtre dans laquelle l'humain est forcé de se conformer aux choix du robot. Nous avons montré par une analyse statistique que notre approche permettait de satisfaire les préférences des humains de manière nettement plus satisfaisante. De même, nous avons montré que notre approche induit une interaction significativement plus positive, une collaboration plus adaptative et efficace, et des décisions du robot significativement plus adéquates et accommodantes. Enfin, ma troisième contribution concerne la prise de décision dans le domaine de la navigation. Je propose un système simulant un avatar humain qui, en plus d'être réactif, prend des décisions rationnelles sur les tâches de navigation. Ce système sert d'outil de test et d'évaluation pour les systèmes de navigation robotique. Ainsi, ces derniers peuvent être évalués, ajustés et robustifiés en simulation pour réaliser plus rapidement des expériences matures dans la vie réelle. Un travail supplémentaire permettant de simuler plusieurs avatars est également présenté
Although human-robot collaboration can be beneficial, most of today's robots work in spaces physically separated from humans, or their capabilities are severely limited in close proximity to humans. This work aims to bridge the gap between robotic capabilities and human expectations, fostering a new era of seamless and intuitive collaboration between humans and robots in shared environments to perform industrial, service or domestic tasks. More specifically, this manuscript presents a study of decision-making in the context of human-robot collaboration, particularly in the areas of navigation and task planning.First, we discuss various fields and works related to human-robot collaboration in order to better understand the context of my work. After an introduction to the HATP/EHDA task planner, I present my first contribution, which incorporates some concepts from the Theory Of Mind into task planning. Some models and algorithms are proposed and evaluated to better estimate and maintain human knowledge during collaboration, in order to better anticipate human behavior. As a result, we can identify when the human has a false belief about a fact evaluated as relevant to the task. In this case, the robot can proactively inform the human to correct the false information, or the robot can deliberately delay its actions so that they can be seen by the human. The results show that this scheme effectively maintains the human's beliefs and solves a wider class of problems than HATP/EHDA, while not systematically communicating.My second contribution is a new approach to task planning producing a robot behavioral policy ensuring smooth collaboration where the human always has full decision latitude and the robot always conforms in parallel to these decisions. This approach is based on a model of concurrent and compliant joint action that we have designed. This model, in the form of an automaton, takes into account human incontrollability and social cues. We also propose a new method of plan evaluation and selection based on the estimation of the human's internal preferences regarding the task. Empirical results show that this approach enables concurrent robot behavior that conforms to the human's real-time decisions and preferences.To validate the above approach, we conducted a user study using a specially developed simulator. Participants were invited to collaborate in several scenarios with a simulated robot following the policies produced by our approach. We used as a reference an approach opposite to ours, in which the human is forced to conform to the robot's choices. We showed through statistical analysis that our approach satisfies human preferences significantly more successfully. Similarly, we have shown that our approach induces significantly more positive interaction, more adaptive and effective collaboration, and significantly more appropriate and accommodating robot decisions.Finally, my third contribution concerns decision-making in navigation. I propose a system simulating a human avatar which, in addition to being reactive, makes rational decisions about navigation tasks. This system serves as a test and evaluation tool for robotic navigation systems. In this way, they can be evaluated, adjusted, and robustified in simulation, so that mature real-life experiments can be carried out more quickly. An additional work capable of simulating several avatars is also presented

Certains problèmes ne peuvent être résolus ni par les ordinateurs seuls ni par les humains seuls. La visualisation d'information est une solution commune quand il est nécessaire de raisonner sur de grandes quantités de données. Plus une visualisation est efficace, plus il est possible de résoudre des problèmes complexes. Dans la recherche en visualisation d'information, une visualisation est généralement considérée comme efficace quand elle permet de comprendre les données. Les méthodes d'évaluation cherchent à déterminer si les utilisateurs comprennent les données affichées et sont capables d'effectuer des tâches analytiques comme, par exemple, identifier si deux variables sont corrélées. Cette thèse suggère d'aller au-delà de ce ``paradigme de l'analyse visuelle'' et élargir le champ de recherche à un autre type de tâche: la prise de décision. Les tâches de décision sont essentielles à tous, du directeur d'entreprise qui doit prendre des décisions importantes à l'individu ordinaire qui choisit un plan de carrière ou désire simplement acheter un appareil photo. Néanmoins, les décisions ne se résument pas à la simple compréhension de l'information et sont difficiles à étudier. Elles peuvent impliquer des préférences subjectives, n'ont pas toujours de vérité de terrain, et dépendent souvent de connaissances externes aux données visualisées. Pourtant, les tâches de décision ne font pas partie des taxonomies de tâches en visualisation et n'ont pas été bien définies. De plus, la recherche manque de métriques, de méthodes et de travaux empiriques pour valider l'efficacité des visualisations pour la prise de décision. Cette thèse offre une définition opérationnelle pour une classe particulière de tâches de décision, et présente une analyse systématique qui identifie les visualisations multidimensionnelles compatibles avec ces tâches. Elle présente en outre la première comparaison empirique de techniques de visualisation multidimensionnelle basée sur leur capacité à aider la décision, et esquisse une méthodologie et des métriques pour évaluer la qualité des décisions. Elle explore ensuite le rôle des instructions dans les tâches de décision et des tâches analytiques équivalentes, et identifie des différences de performance entre les deux tâches. De même que les sciences de la vision informent la visualisation d'information sur les limites de la vision humaine, aller au-delà du paradigme de l'analyse visuelle implique de prendre en compte les limites du raisonnement humain. Cette thèse passe en revue la théorie de la décision afin de mieux comprendre comment les humains prennent des décisions, et formule une nouvelle taxonomie de biais cognitifs basée sur la tâche utilisateur. En outre, elle démontre empiriquement que des biais peuvent être présents même quand l'information est bien visualisée, et qu'une décision peut être ``correcte'' mais néanmoins irrationnelle, dans le sens où elle est influencée par des informations non pertinentes. Cette thèse examine finalement comment mitiger les biais. Les méthodes pour améliorer le raisonnement humain reposent souvent sur un entraînement intensif à des principes et à des procédures abstraites, qui se révèlent souvent peu efficaces. Les visualisations offrent une opportunité dans la mesure où ses concepteurs peuvent remodeler l'environnement pour changer la façon dont les utilisateurs assimilent les données. Cette thèse passe en revue la théorie de la décision pour identifier de possibles solutions de conception. De plus, elle démontre empiriquement que supplémenter une visualisation par des interactions qui facilitent des stratégies de décision alternatives peut mener à des décisions plus rationnelles. Via des études empiriques, cette thèse suggère que le paradigme de l'analyse visuelle n'est pas en mesure de relever tous les défis de la prise de décision aidée de la visualisation, mais qu'aller au-delà peut contribuer à faire de la visualisation un puissant outil de prise de décision
There are problems neither humans nor computers can solve alone. Computer-supported visualizations are a well-known solution when humans need to reason based on a large amount of data. The more effective a visualization, the more complex the problems that can be solved. In information visualization research, to be considered effective, a visualization typically needs to support data comprehension. Evaluation methods focus on whether users indeed understand the displayed data, can gain insights and are able to perform a set of analytic tasks, e.g., to identify if two variables are correlated. This dissertation suggests moving beyond this "visual analysis paradigm" by extending research focus to another type of task: decision making. Decision tasks are essential to everybody, from the manager of a company who needs to routinely make risky decisions to an ordinary person who wants to choose a career life path or simply find a camera to buy. Yet decisions do not merely involve information understanding and are difficult to study. Decision tasks can involve subjective preferences, do not always have a clear ground truth, and they often depend on external knowledge which may not be part of the displayed dataset. Nevertheless, decision tasks are neither part of visualization task taxonomies nor formally defined. Moreover, visualization research lacks metrics, methodologies and empirical works that validate the effectiveness of visualizations in supporting a decision. This dissertation provides an operational definition for a particular class of decision tasks and reports a systematic analysis to investigate the extent to which existing multidimensional visualizations are compatible with such tasks. It further reports on the first empirical comparison of multidimensional visualizations for their ability to support decisions and outlines a methodology and metrics to assess decision accuracy. It further explores the role of instructions in both decision tasks and equivalent analytic tasks, and identifies differences in accuracy between those tasks. Similarly to vision science that informs visualization researchers and practitioners on the limitations of human vision, moving beyond the visual analysis paradigm would mean acknowledging the limitations of human reasoning. This dissertation reviews decision theory to understand how humans should, could and do make decisions and formulates a new taxonomy of cognitive biases based on the user task where such biases occur. It further empirically shows that cognitive biases can be present even when information is well-visualized, and that a decision can be ``correct'' yet irrational, in the sense that people's decisions are influenced by irrelevant information. This dissertation finally examines how biases can be alleviated. Current methods for improving human reasoning often involve extensive training on abstract principles and procedures that often appear ineffective. Yet visualizations have an ace up their sleeve: visualization designers can re-design the environment to alter the way people process the data. This dissertation revisits decision theory to identify possible design solutions. It further empirically demonstrates that enriching a visualization with interactions that facilitate alternative decision strategies can yield more rational decisions. Through empirical studies, this dissertation suggests that the visual analysis paradigm cannot fully address the challenges of visualization-supported decision making, but that moving beyond can contribute to making visualization a powerful decision support tool

Dans le cadre de la conception et du développement de systèmes interactifs critiques, lorsque le coût d'une erreur potentielle d'utilisation ou d'un dysfonctionnement du système peut dépasser le coût de développement de ce système ou se chiffrer en pertes humaines, les techniques, méthodes et processus actuellement proposés dans le domaine de l'IHM sont difficilement exploitables. D'une part, ils ne permettent pas de garantir simultanément les propriétés d'utilisabilité et de sûreté du système développé. D'autre part, la formation et la qualification des utilisateurs du système avant sa mise en opération n'est pas envisagée. Enfin, ces techniques, méthodes et processus ne fournissent pas les moyens de traçabilité exigés pour le développement de systèmes critiques. L'argumentaire de cette thèse s'appuie sur les avantages et limitations des approches existantes en termes de processus et notations de modélisation. Nous proposons une approche et montrons sa réalisation à travers un processus de développement d'un système interactif critique et de son programme de formation associé. Ce processus fournit un cadre conceptuel, une association d'étapes, des notations, et un environnement logiciel pour : le développement d'un système utilisable et sûr, le développement du programme de formation associé ainsi que la traçabilité des exigences et des choix de conception tout au long des différentes étapes. Il utilise certains principes de la conception centrée utilisateur et exploite de manière synergique les modèles des tâches, les modèles formels du comportement du système et le modèle de développement du programme de formation
In the field of interactive critical systems, the cost of a usage error or of a system failure can overcome the cost of the development of the system itself, and can result in loss of life, injury or damage to the system and its environment. Then, currently available Human Computer Interaction techniques, methods and processes are not sufficient, as they are not handling all of the design and development issues that are associated to interactive critical systems. First of all, these techniques, methods and processes do not enable to guarantee that the system will fulfil both usability and reliability properties. Then, they do not consider training and qualification of the users of the system. At last, they do not provide means for traceability of the needs and requirements through the whole development process. We propose an approach to develop interactive critical systems that are usable, reliable and operable and we describe the associated conceptual framework of our approach. We propose an implementation of this approach with a development process, notations and a software environment. The development process integrates phases for the development of the associated training program, and it provides support for the traceability of requirements and design choices during the whole phases of the process. This approach takes advantages from the User Centered Design paradigm and uses, in a synergistic way, task models, system's behaviour formal models and training program development model

L’évaluation des systèmes interactifs est source de nombreuses difficultés, aussi bien pour les spécialistes de la communication homme-machine que pour les non-spécialistes. La qualité de l'évaluation dépend de paramètres variés et souvent contradictoires. En effet, en plus des problèmes de procédure, de méthodologie et d'organisation que peuvent rencontrer les évaluateurs des interfaces homme(s)-machine(s) (IHM), le problème capital auquel sont confrontés les évaluateurs est celui du choix des méthodes et techniques appropriées pour l'évaluation d'un système interactif donné. Selon le contexte international lié à l'utilisation du système interactif, les aspects socio-culturels doivent dans certains cas être aussi considérés. Ainsi, pour aider les évaluateurs dans le processus d'évaluation, il existe plusieurs types d'outils d'aide à l'évaluation dont les niveaux d'aide sont très variables. On constate qu'aucun des outils existants ne propose aux évaluateurs les méthodes appropriées au contexte de l'évaluation et aucun ne permet aux évaluateurs de prendre en compte les aspects socio-culturels, en plus des aspects pratiques liés à l'utilité et l'utilisabilité du système visé. Pourtant, le problème du choix des méthodes et techniques d'évaluation des IHM constitue l'une des étapes les plus importantes dans le processus d'évaluation car les objectifs recherchés et la qualité de l'évaluation vont dépendre des méthodes et techniques choisies par les évaluateurs. C’est dans ce contexte que se situe notre recherche visant un système d'aide à la décision faisant appel aux sous-ensembles flous. La première maquette du système d'aide à la décision est implémentée avec Prolog III. La maquette a fait l'objet d'une validation technique sur deux scénarios réels.

L’utilisation de drones est fréquente dans de nombreuses industries et dans les activités militaires modernes. Toutefois les drones militaires à longue endurance souffrent encore d’un taux élevé d’accidents liés à des erreurs humaines, en particulier lorsque les opérateurs ressentent de la fatigue mentale (FM).En particulier, la flexibilité cognitive exigée des opérateurs offre une possibilité d’amélioration. Cependant, peu de recherches ont été menées sur celle-ci lors de tâches complexes tel que le contrôle d’un drone.Dans cette thèse, nous remédions à cette lacune, et la possibilité d’atténuer les effets négatifs de la FM sur la flexibilité cognitive a également été explorée. Pour ce faire, des alertes visuelles ont été développées pour informer les participants lorsqu’ils devaient passer d’une tâche à l’autre. Pour accroître l’efficacité des alertes visuelles, leur utilisation devrait être limitée aux périodes de faible performance (par exemple, en raison de la FM), au cours desquelles l’impact positif des alertes visuelles peut être maximisé.Les interfaces cerveau-ordinateur passives (pBCI) et les systèmes informatiques physiologiques utilisant l’électroencéphalographie (EEG), l’électrocardiographie (ECG) et l’oculométrie peuvent détecter des états sub-optimaux comme la FM. Dans ce cas, les alertes visuelles sont susceptibles d’avoir un impact positif plus important. La détection d’ états mentaux pose plusieurs problèmes : Un état mental n’est pas nécessairement un bon indicateur de performance. D’autre part, l’estimation peut s’avérer difficile, notamment parce que la performance peut être définie de différentes manières.À la suite de plusieurs entretiens avec des opérateurs, cinq expériences ont été conçues.(i) La première expérience, appelée expérience Double Task Switching (DTS), teste un nouveau protocole comportemental pour étudier la flexibilité cognitive. Les résultats ont montré que le passage d’une tâche similaire à une autre impacte significativement la performance.(ii) Cette expérience est suivie d’un second paradigme visant à déterminer si la simple présence d’alertes visuelles peut améliorer les performances. Les résultats de cette étude montrent que les alertes visuelles sans explication préalable ne semblent pas améliorer les performances. Deux autres expériences explorent la possibilité d’utiliser l’EEG, l’ECG et le suivi des yeux pour détecter la FM lors de simulations réalistes de drone.(iii) La première expérience se concentre sur une tâche de recherche et constitue une première étude des différences entre l’estimation de la FM basée sur le temps passé sur la tâche (TOT) et celle basée sur la performance.(iv) L’expérience suivante combine ensuite les deux expériences précédentes en ajoutant une tâche de navigation pour recréer certains aspects de l’opération de drones. Les résultats mettent en évidence la différence dans l’utilisation de définitions différentes de la FM pour le design de systèmes informatiques physiologiques. Notamment, le TOT et la performance de la tâche sont comparés.(v) Enfin, nous étudions si les alertes visuelles peuvent être utilisées pour adapter une interface adaptative dans les simulations de drones afin d’améliorer les performances. Pour ce faire, des alertes visuelles ont été ajoutées à l’expérience précédente. Les résultats préliminaires mettent en évidence l’impact d’une simple adaptation basée sur le comportement dans un environnement de travail complexe.Les travaux présentés dans ce manuscrit montrent que la flexibilité cognitive devrait être considérée comme une priorité dans la recherche sur les facteurs humains et que des adaptations simples peuvent améliorer la performance. Ils soulignent également l’importance de la FM et la manière dont différentes définitions de ce concept peuvent entraîner des différences de performance majeures pour les pBCI et les systèmes d’informatique physiologique
Uncrewed Aerial Systems (UAS) are common in many industries and an important pillar ofmany modern militaries. While technology advances rapidly, military long-endurance UASstill suffer from high rates of human error-related mishaps, especially when operators experience mental fatigue.In particular, the frequent switching between tasks required by operators presents an opportunity for improvement. Cognitive flexibility, the mental ability to switch between tasks or responses, is an important executive function. However, little research has investigated cognitive flexibility during complex tasks such as UAS control. In this thesis we address this lack, and the possibility of mitigating the adverse effects of fatigue on cognitive flexibility was also explored. For this, visual alerts were developed to inform participants when they had to switch between tasks. To increase the effectiveness of visual alerts, their use should be restricted to periods of poor performance (e.g. due to mental fatigue), during which the positive impact ofvisual alerts may be maximized.Passive Brain-Computer Interfaces (pBCI) and physiological computing systems using electroencephalography (EEG), electrocardiography (ECG) and eye-tracking may detect sub-optimal states, such as mental fatigue. Detecting mental states poses several theoretical issues. Most notably, a mental state is not necessarily a good performance indicator. Directly estimating performance, on the other hand, has proven to be more challenging for BCIs and Physiological Computing, partially because performance can be defined in many ways.Following several interviews with operators, 5 experiments were designed. (i) The firstexperiment, the Double Task Switching (DTS) experiment, tests a novel behaviouralprotocol to investigate cognitive flexibility and the effects of similarity on task-switching costs.Results showed that switching between similar and dissimilar tasks significantly differs in accuracy and reaction time. This experiment is followed by (ii) a second behavioural paradigm investigating whether the mere presence of visual alerts can improve performance. It builds on the DTS protocol and is called the DTS-II experiment. The results of this study show that visual alerts without any prior explanation do not appear to improve performance when switching between tasks.Two further experiments explore the possibility of using EEG, ECG and eye-tracking to detect mental fatigue during realistic UAS simulations. (iii) The Remot3e experiment (Remote search, 3 Es for EEG, ECG & Eye-Tracking) focuses on a search task. It constitutes a primary investigation into the differences between Time-on-Task (TOT) and performance-based mental fatigue estimation. Then, (iv) the UASOS (UAS Operator Simulation) experiment combines the DTS protocol and the Remot3e Task, adding a navigation task to recreate some of the fundamental aspects of UAS operations. Both experiments highlight the difference in using different definitions of mental fatigue for constructing and training physiological computing systems.Notably, Time-On-Task (TOT, the time a participant has been performing a task) and task performance are compared.Finally, (v) we investigate if visual alerts can be used to adapt an adaptive interface inUAS simulations to improve performance. For this, Visual Alerts were added to the UASOSexperiment. The preliminary results highlight the impact of a simple adaptation on behaviour within a complex work environment.The work in this manuscript shows that cognitive flexibility should be considered a priorityin human factor research and that simple adaptations, such as visual alerts, can improve cognitive flexibility. It also highlights the importance of mental fatigue and how different definitions of the construct (based on performance or TOT) can result in major performance differences when researching pBCIs and Physiological Computing systems

Le travail présenté dans ce mémoire entre dans le cadre d'un contrat de recherche établi entre la direction de la recherche et de la technologie (division ergonomie - ministère de la défense) et le laboratoire d'automatique et de mécanique industrielles et humaines. L'évolution des systèmes vers une automatisation de plus en plus poussée conduit très souvent à transformer l'activité humaine dans les moyens de transport par air, mer ou terre, en une activité de surveillance et de contrôle d'interface graphique assurant les interactions homme-machine. La monotonie de la tâche qui en résulte associée aux contraintes caractérisant les conditions de travail, ont des effets négatifs sur la vigilance et la performance des opérateurs humains et plus généralement sur la sécurité des systèmes. Aussi convient-il d'analyser les caractéristiques de la situation de travail et de l'operateur pour répondre à un besoin double d'analyse fiabiliste et de modélisation du comportement humain en régime perturbé ou face à une situation accidentelle. Les travaux résumés dans ce mémoire visent à poursuivre l'exploration des perturbations temporaires affectant le fonctionnement des opérateurs, perturbations liées ici aux contraintes temporelle, visuelle et posturale de la situation de travail. Ils englobent à la fois des travaux sur les stimulations vestibulaires d'origine vibratoire et des études sur la présentation d'informations visuelles sur écran graphique, et sont abordés dans une perspective pluridisciplinaire, conciliant aspects humains et automatiques. La situation analysée est celle d'un opérateur humain effectuant une tache de catégorisation de signaux visuels, de durée limitée et de nature simple et répétitive ; sa complexité réside dans la part de réflexion nécessaire à la discrimination de ces messages en fonction de critères définis à l'avance. Au point de vue méthodologie, les données sont traitées dans le cadre de la théorie de la détection du signal dont la principale originalité est d'isoler dans l'acte perceptif, le processus décisionnel du processus sensoriel. Dans ce cadre théorique, trois expérimentations ont été réalisées. La mise en place d'un dispositif d'évaluation des performances perceptives et cognitives de l'opérateur humain effectuant une prise de décision, a fait l'objet de la première expérimentation. Au cours de la deuxième expérimentation, la charge de travail et la capacité perceptive et cognitive de l'opérateur humain sont analysées dans l'environnement vibratoire d'un voilier dans diverses conditions de navigation rencontrées au cours de l'expédition de celui-ci dans l'antarctique. Les taches visuo-cognitivo-motrices de l'opérateur humain pendant ces deux séries d'expériences ont été réalisées avec un temps imposé fixe qui est modulé dans la troisième expérimentation. Dans celle-ci et dernière expérimentation, le rôle et les effets des modifications de la pression temporelle, des faibles variations d'amplitude des stimuli graphiques et des stimulations vestibulaires d'origine vibratoire, sont examinés sur les performances de l'opérateur humain effectuant une tache de détection de variation de figures graphiques. L'analyse des données recueillies tout au long de la phase expérimentale, fait appel dans une première approche à une méthodologie d'évaluation basée sur un modèle statistique, dont la structure est l'analyse Bayesienne des comparaisons. Ce choix est directement suggéré par la mesure de l'activité de l'homme. L'autre approche est plus globale car elle permet de tenir compte du caractère multivariable du comportement humain. La technique d'analyse de données est alors multidimensionnelle : analyse en composantes principales. Finalement, une tentative de modélisation des phénomènes observés dans l'environnement visuo-postural étudié et une identification des lois expérimentales obtenues permettent d'interpréter les résultats et de les présenter sous la forme de modèles. La mise en œuvre de ces modèles fait l'objet de la dernière partie de ce mémoire. L'originalité réside alors dans l'analyse des raisonnements, représentations mentales et mécanismes automatiques liés aux diverses prises de décisions affectées par un jeu de contraintes (délai, difficulté d'observation, stimulations vestibulaires) s'exerçant sur l'opérateur humain.

Les clients des missions de drones sont demandeurs de systèmes d'information et de décision dans lesquels l'humain joue un rôle clé avec sa capacité unique d'analyse. Nous avons présenté comme première contribution un référentiel des niveaux d'automatisation qui interroge systématiquement sur le rôle de l'humain, et ce en rupture avec les référentiels précédents. Nous avons proposé comme seconde contribution un système décisionnel qui laisse les systèmes automatisés être incertains quant à l'ordre de certaines options de telle sorte que l'opérateur/superviseur puisse trancher. Afin d'augmenter le ratio nombre de drones / nombre d'humains, nous avons restreint l'usage de la décision humaine à l'arbitrage des conflits entre objectifs majeurs. Nous avons finalement expérimenté le sacrifice d'objectifs mineurs pour donner plus de temps à ces arbitrages. En conclusion nous rappellerons les mérites de nos deux contributions. LOA4 est un référentiel des niveaux d'autonomie centré sur l'humain, attentif à l'adaptation et compatible avec UML/PACT. Le système décisionnel que nous proposons est également centré sur l'humain et lui permet de jouer - même avec parcimonie et parfois au prix du sacrifice d'objectifs mineurs - un rôle clé basé sur sa capacité unique d'analyse
Humans are still vital after years of automation and the clients of UAV mission systems want to preserve the human user’s key role because human knowledge, experience and judgment provide unique capability to analyze safety risks and to think ahead in uncertain and novel situations. Our first contribution is LOA4, a set of tree levels of automation in four dimensions to assess human involvement in partially automated systems. Previous sets focus too much attention on the computer rather than on the collaboration between the computer and its operator/supervisor. Unlike previous sets, our set systematically assess human involvement: is there none; some sometime; or some anytime. Its simplicity allow to recursively assess the situation of automation of a system based on the situation of automation of its parts. These information can be part of an IHM to increase the situation awareness in real time. Our second contribution is a mission system in which automated systems decide to delegate some decisions to humans. In order to increase the ratio number of “uavs / number of humans”, decisions that are untrusted to humans are mostly both ambivalent and critical. Some minor goals may be discarded to provide humans with more time to make their decisions. We implemented our approach and we report some results

Les cobots sont apparus vers 2010 en industrie et les accidents sont très peu documentés. La gestion des risques en cobotique représente un réel défi. La littérature scientifique montre l’existence de divers modèles, méthodes et outils pour gérer les risques en cobotique, en mettant l’opérateur humain au cœur de l’intégration des applications collaboratives. Cependant, un autre humain clé de la mise en œuvre de ces applications est négligé la plupart du temps. Il s’agit de l’intégrateur, celui qui doit concevoir la cellule cobotique. À notre connaissance, deux études portant sur un même projet de conception d’un logiciel aidant à mettre en œuvre des cellules cobotiques sont les seules mettant l’intégrateur au cœur de leur invention. Cependant, cette prise en compte de l’intégrateur se base sur un retour d’expérience relatif à leurs intégrations passées. Le présent rapport se démarque en plaçant l’intégrateur au cœur de sa méthodologie et en exploitant l’analyse de l’entièreté du processus d’intégration au fur et à mesure qu’il se déroule. En effet, l’objectif de ce rapport est d’identifier, en laboratoire, les éléments essentiels au processus d’intégration sécuritaire de cellules cobotiques, en considérant les variabilités inhérentes à la tâche à cobotiser et à l’intégrateur. Pour y parvenir, l’étude passe par trois étapes principales : 1) la caractérisation des tâches cobotisées en industrie et des interactions humain-cobot à partir de matériels visuels issus d’études de cas et de visites en entreprise ; 2) l’intégration, en laboratoire, de quatre cellules cobotiques, à savoir deux tâches industrielles implantées chacune par deux intégrateurs (chaque intégrateur doit mettre en œuvre les cellules cobotiques relatives aux deux tâches industrielles) ; 3) l’analyse des éléments de prises de décisions des intégrateurs pour chacun des quatre processus d’intégration. La caractérisation à l’étape 1 du projet permet de proposer cinq classes d’applications collaboratives : 1) la collaboration directe en alternance ; 2) la collaboration directe d’assistance ; 3) la collaboration indirecte séquentielle ; 4) la collaboration indirecte parallèle ; 5) le partage d’espace occasionnel sans collaboration. La définition de ces classes est utile à tout intégrateur voulant démarrer son analyse des risques d’une installation cobotique. L’analyse des risques commence avec la détermination des limites de l’installation à mettre en œuvre, au sens de la norme en robotique ISO 10218 et, plus généralement, au sens de la norme ISO 12100 en sécurité des machines. À la lumière des résultats des trois étapes de l’étude, ce rapport propose un outil de détermination des limites d’une installation cobotique. Ces limites sont les variabilités inhérentes à la tâche à cobotiser, notées au fil de la réalisation des intégrations et des différentes étapes de la méthodologie. Nous avons constaté que, parmi tous les éléments de variabilité influençant les quatre processus d’intégration étudiés, les trois premiers éléments suivants liés à la tâche à cobotiser et les deux derniers éléments suivants associés à l’intégrateur étaient essentiels dans ces processus : 1) le choix du cobot ; 2) le type de pièce à manipuler et le type d’outil robotique ; 3) les contraintes de temps de cycle et de productivité ; 4) la formation de l’intégrateur en sécurité des machines en général et en sécurité en cobotique plus précisément ; 5) les informations, relatives à la sécurité ou la productivité, qu’il reçoit de son entourage, puisqu’elles le poussent à remettre en question ses choix initiaux et les corriger s’il y a lieu (il s’agit de rétroactions). Des pistes de réflexion relatives à ces éléments de variabilité sont énoncées à la fin du rapport.