Literatura académica sobre el tema "IA explicable"

The problem of detecting anomalous documents in text collections is considered. The existing methods for detecting anomalies are not universal and do not show a stable result on different data sets. The accuracy of the results depends on the choice of parameters at each step of the problem solving algorithm process, and for different collections different sets of parameters are optimal. Not all of the existing algorithms for detecting anomalies work effectively with text data, which vector representation is characterized by high dimensionality with strong sparsity.The problem of finding anomalies is considered in the following statement: it is necessary to checking a new document uploaded to an applied intelligent information system for congruence with a homogeneous collection of documents stored in it. In such systems that process legal documents the following limitations are imposed on the anomaly detection methods: high accuracy, computational efficiency, reproducibility of results and explicability of the solution. Methods satisfying these conditions are investigated.The paper examines the possibility of evaluating text documents on the scale of anomaly by deliberately introducing a foreign document into the collection. A strategy for detecting novelty of the document in relation to the collection is proposed, which assumes a reasonable selection of methods and parameters. It is shown how the accuracy of the solution is affected by the choice of vectorization options, tokenization principles, dimensionality reduction methods and parameters of novelty detection algorithms.The experiment was conducted on two homogeneous collections of documents containing technical norms: standards in the field of information technology and railways. The following approaches were used: calculation of the anomaly index as the Hellinger distance between the distributions of the remoteness of documents to the center of the collection and to the foreign document; optimization of the novelty detection algorithms depending on the methods of vectorization and dimensionality reduction. The vector space was constructed using the TF-IDF transformation and ARTM topic modeling. The following algorithms have been tested: Isolation Forest, Local Outlier Factor and One-Class SVM (based on Support Vector Machine).The experiment confirmed the effectiveness of the proposed optimization strategy for determining the appropriate method for detecting anomalies for a given text collection. When searching for an anomaly in the context of topic clustering of legal documents, the Isolating Forest method is proved to be effective. When vectorizing documents using TF-IDF, it is advisable to choose the optimal dictionary parameters and use the One-Class SVM method with the corresponding feature space transformation function.

À l’heure de l’intelligence artificielle (IA) dite générative, des algorithmes d’apprentissage profond ( Deep Learning ), de l’IA explicable, de l’IA de confiance, bon nombre de personnes ne mesurent pas la nécessité de modéliser et de structurer le domaine lorsqu’il s’agit de réaliser une opération de management de la connaissance. La question est à deux niveaux : est-ce que cela a un sens et pourquoi ?

L’intelligence artificielle (IA) représente un défi majeur pour l’innovation responsable (IR) en raison de l’ampleur des transformations sociétales et productives qu’elle induit. L’enjeu de l’inscription de l’IA dans l’innovation responsable ne réside pas tant dans l’absence de concepts théoriques pour guider son développement, mais plutôt dans la multiplication de ces concepts (IA explicable, IA transparente, IA durable, IA juste…) et dans leur discutable propension à se traduire en actions concrètes réellement transformatrices des écosystèmes d’innovations. À partir d’une analyse bibliométrique de la littérature, cet article propose une cartographie des principaux concepts contribuant à inscrire l’IA dans une démarche d’innovation responsable. Les résultats mettent en lumière la difficile articulation des concepts entre eux, notamment au regard de la concurrence entre les acteurs et les dispositifs d’action préconisés. Cette étude contribue à la littérature sur les défis de l’adoption de l’IA et de son inscription dans une démarche d’innovation responsable, elle discute également des risques et opportunités associés à la multiplication de concepts pour inscrire des technologies émergentes dans une démarche d’innovation responsable. Codes JEL : O32, O33

La Inteligencia Artificial (IA) ha transformado múltiples disciplinas, en concreto en el área médica se ha distinguido por su capacidad de mejorar diagnósticos y tratamientos. No obstante, la falta de transparencia en los sistemas ha generado desafíos prácticos. La Inteligencia Artificial Explicable (XAI) ha surgido como una solución para abordar estos problemas, permitiendo a los profesionales de la salud comprender y verificar las decisiones de los algoritmos. En este trabajo se aplicarán dos técnicas comúnmente usadas de XAI, específicamente SHapley Additive exPlanations (SHAP) y Local Interpretable Model-Agnostic Explanations (LIME), para interpretar un modelo de red neuronal convolucional usado en el diagnóstico de cáncer de mama a partir de imágenes histológicas del Carcinoma Ductal Invasivo (IDC). Los resultados muestran que ambas técnicas son efectivas para identificar las contribuciones individuales de las características en las predicciones del modelo, resaltando que LIME ofrece una granularidad detallada a nivel de píxel.

Resumen Los objetivos del artículo son: 1) Analizar la relación entre inseguridad alimentaria (IA) y adherencia al tratamiento antiretroviral (TAR) en personas con VIH/SIDA. 2) Evaluar la contribución de cuatro posibles mediadores (responsabilidades laborales y familiares, falta de recursos para cubrir necesidades, distrés psicológico y efectos secundarios del TAR) a dicha asociación. Estudio transversal con una muestra (n = 557) de personas con VIH atendidas en dos instituciones públicas de la ciudad de México. Las variables fueron indagadas mediante un cuestionario. Mediante modelos de regresión logística se evaluó si los mediadores explicaban la asociación entre IA y adherencia al TAR. Las personas con IA moderada tuvieron mayor probabilidad de omisión en el mes previo (OR = 2.10) y baja adherencia (OR = 3.35). La baja adherencia en las personas con IA fue explicada por los efectos secundarios (14.9%), las necesidades insatisfechas (12.5%), las responsabilidades (4.8%) y el distrés psicológico (2.0%). La IA puede limitar los beneficios de las políticas de acceso universal al TAR pues puede estar asociada con menor adherencia a ésta. Se requiere adecuar los servicios de salud para reducir el efecto de la IA.

Abstract The post-1945 international order is in crisis, spurring a wide-ranging debate about its future in a period of rapid global change. A critical dimension of this crisis has been neglected by existing perspectives, however. At multiple levels the post-1945 international order is being challenged by claims of justice. Diverse actors criticize the order for its economic inequalities, social hierarchies, institutional unfairness, intergenerational inequities, and historical and epistemic injustices. This article, which serves as an introduction to a special section on ‘Injustice and the crisis of international order’ seeks to map and explicate this polymorphic politics of global justice. We begin by reviewing past debates about justice and order in world politics, highlighting their narrow and over-stylized engagement with justice politics. To fill this gap, we develop a typology of contemporary justice claims, differentiating between recognitional, institutional, distributive, historical and epistemic, and intergenerational claims. Our goal is not only to distinguish these distinct kinds of justice claims, however. We argue that justice claims are also intersectional, multiscalar and multivocal, with significant implications for how the relationship between justice and order is managed in contemporary world politics.

Abstract States are keen to send representatives to international organizations, instructing them to pursue national interests and monitor staff. Yet academics tend to ignore these individuals and approximate state influence by vote shares and other state-level attributes. Against this background, I examine when state representatives in international organizations wield outsize influence on decision-making. Based on scholarship of bureaucrats in international organizations, European studies and an interdisciplinary literature on negotiation, I argue that state delegates matter beyond their national affiliation. Empirically, I study one especially powerful institution in global governance: the International Monetary Fund (IMF). Elite interviews with IMF state representatives demonstrate that delegates carefully plan their interventions, behaving independently while also extending their constituents' interests. Based on the analysis of these interviews, I theorize ‘respected individuals’ to describe state representatives who can wield outsize influence on decision-making. Their prestige and impact depend on: first, perceived autonomy from their home governments; and second, relevant expertise, social skills and deliberative craft. In the IMF, respected individuals are most likely to represent relatively weak states; more generally, my work speaks to debates on the power of small states in international financial institutions and multilateral negotiations. Together, the findings explicate how individuals impact organizational decision-making, with important implications for practitioners in such institutions.

Abstract Many modern conflicts, from Iraq to Yemen, have emerged as brutal wars in which state and non-state actors directly and indirectly target a wide array of civilian infrastructures, including water, energy and food systems. Similar to many twentieth-century wars, a common feature of the wars in the Middle East and North Africa in the twenty-first century has been the ‘civilianization’ of war, as civilian casualties far outnumbered battlefield deaths. We explore the targeting of civilian infrastructures in the Yemeni war (2011–2019) to explicate the connections between conflict, hunger and disease. We draw upon interviews with UN and humanitarian organizations, an original database tracking civilian infrastructure destruction, and a variety of print sources to document the extent and spatial distribution of the targeting of water, energy, agricultural and health systems in Yemen. We elucidate how the conduct of the Yemeni war has undermined human security and livelihoods and has created ethical, logistical and organizational challenges for humanitarian organizations and for advancing peacebuilding efforts. We find that after the 2011 popular uprising, some non-state actors targeted the energy sector; however, the scope and intensity of wartime targeting of civilian objects, particularly those associated with agriculture, fisheries and health, increased significantly once the Saudi-led coalition entered the war in 2015. Loss of livelihoods, internal displacement, currency depreciation, and blockades and sieges further intensified the wartime spread of hunger and disease. The targeting of civilian infrastructures significantly hinders peacebuilding efforts to restore basic services, rebuild livelihoods and strengthen governance mechanisms.

Este artículo aborda la aplicación de técnicas de Aprendizaje Automático o Machine Learning en la geoingeniería y geociencia, destacando su relevancia en la predicción y comprensión de fenómenos naturales. A pesar de prescindir de leyes físicas explícitas, los modelos de ML ofrecen flexibilidad para adaptarse y descubrir patrones complejos. En particular, se resalta la capacidad del aprendizaje automático para mejorar la precisión y eficiencia en la predicción de la susceptibilidad a deslizamientos de tierra, con enfoques como el aprendizaje supervisado y no supervisado. Se menciona la importancia de comprender por qué un modelo clasifica ciertas clases, ofreciendo herramientas explicables que permitan alinear resultados con la comprensión física de los procesos geológicos. Además, se exploran aplicaciones cruciales de ML en la ingeniería geotécnica, con modelos basados en algoritmos como máquinas de vectores de soporte, redes neuronales artificiales y clasificadores de Bayes. Se destaca la necesidad de investigar el acoplamiento de modelos basados en la física y en datos de IA para una comprensión más completa y predicciones confiables. La integración de técnicas de ML en la geoingeniería emerge como una estrategia clave para abordar los desafíos climáticos y antropogénicos actuales, ofreciendo nuevas perspectivas en la investigación de deslizamientos de tierra y otros riesgos geológicos. Este artículo forma parte de la investigación realizada en el marco de la Maestría en Ingeniería Ambiental, donde se busca explorar el potencial del Aprendizaje Automático para la gestión de riesgos geológicos

PurposeThis study aims to present a framework relating to the organizational value of international assignments (IAs). This extends the existing framework by Lepak et al. (2007) and applies to other fields researching questions of value.Design/methodology/approachThis is a conceptual paper that applies new thinking to the critical practical and theoretical issue of organizational value in global mobility (GM) and international business (IB) literature. The Lepak et al. (2007) framework is explained, used and extended to appraise the value of IAs to organizations.FindingsThe primary contribution is the establishment of a value framework within which future IA research can position itself, refining extant measures and thereby enabling greater cohesion in future studies. The secondary contribution, impacting beyond the field of GM, is the development of this framework, including the identification and discussion of value itself, the significance of organizational sub-levels, the extension of the definitions of isolating mechanisms and competition to explicate value capture, the importance of temporal analysis and the inclusion of value assessment.Research limitations/implicationsThe paper is limited by its application to IAs at the organizational level only. However, the relationship with other levels is also explored. Research within different contexts or focusing on the other levels of value will increase the understanding of value.Practical implicationsDefinitions of the value of IAs are extended, and practitioner implications are discussed.Originality/valueA new framework for evaluating the organizational value of IAs and new definitions to enable this value to be assessed are produced.

Les maisons intelligentes sont des systèmes cyber-physiques dans lesquels de nombreux composants intéragissent les uns avec les autres pour accomplir des objectifs de haut niveau comme le confort ou la sécurité de l'occupant. Ces systèmes autonomiques sont capables de s'adapter sans demander d'intervention de la part de l'utilisateur: ce fonctionnement autonomique est difficile à comprendre pour l'occupant. Ce manque d'explicabilité peut être un frein à l'adoption plus large de tels systèmes. Depuis le milieu des années 2010, l'explicabilité des modèles complexes d'IA est devenue un sujet de recherche important. La difficulté à expliquer les systèmes autonomiques ne vient pas de la complexité des composants, mais plutôt de leur capacité d'adaptation qui peut entraîner des changements de configurations, de logique ou d'objectifs. Par ailleurs, l'hétérogénéité des dispositifs présents dans une maison intelligente complique la tâche. Afin de répondre à ces difficultés, nous proposons d'ajouter à un système autonomique de maison intelligente un système explicatif dont le rôle sera d'observer les différents contrôleurs, capteurs et équipements présents pour générer des explications à l'occupant. Nous définissons six objectifs pour un tel système. 1) Produire des explications contrastives, c'est-à-dire qui visent les situations inattendues ou non voulues. 2) Produire des explications peu profondes, dont les éléments sont causalement proches. 3) Être transparent: exposer son raisonnement et quels composants sont impliqués dans le processus. 4) Être capable de réflexivité, d'exposer ses propres états et changement d'état comme explications à un phénomène. 5) Être générique, pouvoir s'adapter à des composants et des architectures de systèmes autonomiques variées. 6) Respecter la protection des données et favoriser le traitement local, au plus près du capteur. Notre réflexion a abouti à un système explicatif dans lequel un composant central, nommé le ``Spotlight'' est guidé par l'algorithme D-CAS qui identifie trois éléments dans le processus: la détection de conflits par interprétation des observations, la propagation par abduction et la simulation de conséquences possibles. Ces trois étapes sont réalisées par des composants explicatifs locaux qui sont tour à tour interrogés par le Spotlight. Chaque composant local est relié à un capteur, actionneur ou contrôleur du système autonomique, et agit comme un expert dans le domaine associé. Cette organisation permet l'ajout de nouveaux composants, intégrant leurs connaissances au sein du système global sans demander de reconfiguration. Nous illustrons ce fonctionnement en réalisant un prototype générant des explications sur des cas typiques. Nous proposons que les composants explicatifs locaux soient des plateformes génériques pouvant être spécialisées par l'ajout de modules dont nous définissons les interfaces. Cette modularité permet d'intégrer des techniques diverses d'interprétation, d'abduction et de simulation. Notre système visant particulièrement des situations inhabituelles pour lesquelles les données peuvent être rares, les méthodes d'abduction basées sur les occurences passées sont inapplicables. Nous proposons une approche nouvelle : estimer la mémorabilité des événements afin d'utiliser les plus notables comme hypothèses pertinentes à un phénomène surprenant. Notre approche de haut niveau de l'explicabilité a une visée générique, et pose les bases pour des systèmes intégrant des modules plus avancés, permettant de garantir l'explicabilité d'une maison intelligente, mais aussi d'autres systèmes cyber-physiques
Smart homes are Cyber-Physical Systems where various components cooperate to fulfill high-level goals such as user comfort or safety. These autonomic systems can adapt at runtime without requiring human intervention. This adaptation is hard to understand for the occupant, which can hinder the adoption of smart home systems. Since the mid 2010s, explainable AI has been a topic of interest, aiming to open the black box of complex AI models. The difficulty to explain autonomic systems does not come from the intrinsic complexity of their components, but rather from their self-adaptation capability which leads changes of configuration, logic or goals at runtime. In addition, the diversity of smart home devices makes the task harder. To tackle this challenge, we propose to add an explanatory system to the existing smart home autonomic system, whose task is to observe the various controllers and devices to generate explanations. We define six goals for such a system. 1) To generate contrastive explanations in unexpected or unwanted situations. 2) To generate a shallow reasoning, whose different elements are causaly closely related to each other. 3) To be transparent, i.e. to expose its entire reasoning and which components are involved. 4) To be self-aware, integrating its reflective knowledge into the explanation. 5) To be generic and able to adapt to diverse components and system architectures. 6) To preserve privacy and favor locality of reasoning. Our proposed solution is an explanatory system in which a central component, name the ``Spotlight'', implements an algorithm named D-CAS. This algorithm identifies three elements in an explanatory process: conflict detection via observation interpretation, conflict propagation via abductive inference and simulation of possible consequences. All three steps are performed locally, by Local Explanatory Components which are sequentially interrogated by the Spotlight. Each Local Component is paired to an autonomic device or controller and act as an expert in the related knowledge domain. This organization enables the addition of new components, integrating their knowledge into the general system without need for reconfiguration. We illustrate this architecture and algorithm in a proof-of-concept demonstrator that generates explanations in typical use cases. We design Local Explanatory Components to be generic platforms that can be specialized by the addition of modules with predefined interfaces. This modularity enables the integration of various techniques for abduction, interpretation and simulation. Our system aims to handle unusual situations in which data may be scarce, making past occurrence-based abduction methods inoperable. We propose a novel approach: to estimate events memorability and use them as relevant hypotheses to a surprising phenomenon. Our high-level approach to explainability aims to be generic and paves the way towards systems integrating more advanced modules, guaranteeing smart home explainability. The overall method can also be used for other Cyber-Physical Systems

Avec les progrès récents dans le domaine de l'intelligence artificielle, la question du contrôle humain est devenu centrale. Aujourd'hui, cela passe à la fois par des recherches en explicabilité et des systèmes centrés autour de l'interaction avec l'utilisateur·ice. De plus, avec l'expansion du web sémantique et des méthodes de traitement automatique du langage naturelle, la tâche de construction de graphes de connaissances à partir de textes est devenu un enjeu important. Cette thèse présente un système centré-utilisateur·ice pour la construction de graphes de connaissances à partir de textes. Cette thèse présente plusieurs contributions. Tout d'abord, nous introduisons un workflow centré-utilisateur·ice pour la tâche sus-citée, ayant la propriété d'automatiser progressivement les actions de l'utilisateur·ice tout en lui laissant un contrôle fin du résultat. Ensuite, nous présentons nos apports dans le domaine de l'analyse de concepts formels, utilisés afin de concevoir un module d'apprentissage fainéant et explicable pour la tâche de classification de relations. Enfin, nous présentons nos apports dans le domaine de l'extraction de relations, et comment ces apports s'inscrivent dans le workflow présenté précédemment
With recent advances in artificial intelligence, the question of human control has become central. Today, this involves both research into explainability and designs centered around interaction with the user. What's more, with the expansion of the semantic web and automatic natural language processing methods, the task of constructing knowledge graphs from texts has become an important issue. This thesis presents a user-centered system for the construction of knowledge graphs from texts. This thesis presents several contributions. First, we introduce a user-centered workflow for the aforementioned task, having the property of progressively automating the user's actions while leaving them a fine-grained control over the outcome. Next, we present our contributions in the field of formal concept analysis, used to design an explainable instance-based learning module for relation classification. Finally, we present our contributions in the field of relation extraction, and how these fit into the presented workflow

« Pourquoi est-ce qu’on me recommande toujours les même musiques ? » « Pourquoi notre système recommande-t’il cela aux utilisateurs ? » De nos jours, les plateformes de streaming sont le moyen le plus courant d'écouter de la musique enregistrée. Pourtant, les recommandations musicales — au cœur de ces plateformes — sont loin d’être une mince affaire. Il arrive parfois qu’utilisateurs et ingénieurs soient tout aussi perplexes du comportement d’un système de recommandation musicale (SRM). Les SRM ont été utilisés avec succès pour aider à explorer des catalogues comptant des dizaines de millions de titres musicaux. Construits et optimisés pour la précision, les SRM industriels sont souvent assez complexes. Ils peuvent en outre dépendre de nombreux modules interconnectés qui, notamment, analysent les signaux audio, récupèrent les métadonnées d’albums et artistes et les interactions des utilisateurs du service, et estiment des similarités basées sur du filtrage collaboratif. Cette complexité va en l’encontre de la capacité d'expliquer les recommandations et, plus généralement, ces systèmes. Pourtant, les explications sont essentielles pour fidéliser des utilisateurs sur le long termes avec un système qu'ils peuvent comprendre (et pardonner), et pour les propriétaires du système pour rationaliser les erreurs dudit système. L'interprétabilité peut également être nécessaire pour vérifier l'équité d'une décision ou peut être envisagées comme un moyen de rendre les recommandations plus contrôlables. Nous pouvons également récursivement demander : pourquoi une méthode d'explication explique-t-elle d'une certaine manière ? Cette explication est-elle pertinente ? Quelle pourrait être une meilleure explication ? Toutes ces questions sont liées à l'interprétabilité des SRM. Dans une première partie, nous explorons les multiples visages de l'interprétabilité dans diverses tâches de recommandation. En effet, puisqu'il n'y a pas une seule tâche de recommandation mais plusieurs (e.g., recommandation séquentielle, continuation de playlists, similarité artistes), ainsi que de nombreuses modalités de représentation de la musique (e.g., métadonnées, signaux audio, plongements), il y a autant de tâches possibles d’explications nécessitant des ajustements. Notre étude a été guidée par l’exploration des modalités sus-mentionnées : l'interprétation des signaux implicites utilisateurs, des caractéristiques, des signaux audio, et des inter-similarités. Notre thèse présente plusieurs nouvelles méthodes pour l'IA explicable (XAI) et plusieurs résultats théoriques, portant un nouvel éclairage sur notre compréhension des méthodes passées. Néanmoins, les méthodes d’explications peuvent à leur tour manquer d'interprétabilité. C'est pourquoi, une deuxième partie, nous avons jugé essentiel de prendre du recul par rapport aux discours habituels de l’IA et d'essayer de répondre à une question paradoxalement peu claire pour l’XAI : « Qu'est-ce que l'interprétabilité ? » En s'appuyant sur des concepts issus des sciences sociales, nous soulignons qu'il existe un décalage entre la manière dont les explications de l'XAI sont générées et la manière dont les humains expliquent réellement. Nous suggérons que la recherche actuelle a tendance à trop s'appuyer sur des intuitions et des réductions hâtive de réalités complexes en termes mathématiques commodes, conduisant à ériger des hypothèses en normes discutables (e.g., la parcimonie entraîne l'interprétabilité). Nous avons pensé cette partie comme un tutoriel destiné aux chercheurs en IA afin de renforcer leur connaissance des explications avec un vocabulaire précis et une perspective plus large. Nous résumons des conseils pratiques et mettons en évidence des branches moins populaires de l'XAI mieux alignées avec l’humain. Cela nous permet de formuler une perspective globale pour notre domaine de l'XAI, y compris ses prochaines étapes les plus critiques et prometteuses ainsi que ses lacunes à surmonter
‘‘Why do they keep recommending me this music track?’’ ‘‘Why did our system recommend these tracks to users?’’ Nowadays, streaming platforms are the most common way to listen to recorded music. Still, music recommendations — at the heart of these platforms — are not an easy feat. Sometimes, both users and engineers may be equally puzzled about the behaviour of a music recommendation system (MRS). MRS have been successfully employed to help explore catalogues that may be as large as tens of millions of music tracks. Built and optimised for accuracy, real-world MRS often end up being quite complex. They may further rely on a range of interconnected modules that, for instance, analyse audio signals, retrieve metadata about albums and artists, collect and aggregate user feedbacks on the music service, and compute item similarities with collaborative filtering. All this complexity hinders the ability to explain recommendations and, more broadly, explain the system. Yet, explanations are essential for users to foster a long-term engagement with a system that they can understand (and forgive), and for system owners to rationalise failures and improve said system. Interpretability may also be needed to check the fairness of a decision or can be framed as a means to control the recommendations better. Moreover, we could also recursively question: Why does an explanation method explain in a certain way? Is this explanation relevant? What could be a better explanation? All these questions relate to the interpretability of MRSs. In the first half of this thesis, we explore the many flavours that interpretability can have in various recommendation tasks. Indeed, since there is not just one recommendation task but many (e.g., sequential recommendation, playlist continuation, artist similarity), as well as many angles through which music may be represented and processed (e.g., metadata, audio signals, embeddings computed from listening patterns), there are as many settings that require specific adjustments to make explanations relevant. A topic like this one can never be exhaustively addressed. This study was guided along some of the mentioned modalities of musical objects: interpreting implicit user logs, item features, audio signals and similarity embeddings. Our contribution includes several novel methods for eXplainable Artificial Intelligence (XAI) and several theoretical results, shedding new light on our understanding of past methods. Nevertheless, similar to how recommendations may not be interpretable, explanations about them may themselves lack interpretability and justifications. Therefore, in the second half of this thesis, we found it essential to take a step back from the rationale of ML and try to address a (perhaps surprisingly) understudied question in XAI: ‘‘What is interpretability?’’ Introducing concepts from philosophy and social sciences, we stress that there is a misalignment in the way explanations from XAI are generated and unfold versus how humans actually explain. We highlight that current research tends to rely too much on intuitions or hasty reduction of complex realities into convenient mathematical terms, which leads to the canonisation of assumptions into questionable standards (e.g., sparsity entails interpretability). We have treated this part as a comprehensive tutorial addressed to ML researchers to better ground their knowledge of explanations with a precise vocabulary and a broader perspective. We provide practical advice and highlight less popular branches of XAI better aligned with human cognition. Of course, we also reflect back and recontextualise our methods proposed in the previous part. Overall, this enables us to formulate some perspective for our field of XAI as a whole, including its more critical and promising next steps as well as its shortcomings to overcome

Ces dernières années, les algorithmes d'intelligence artificielle ont démontré des performances exceptionnelles dans de nombreuses tâches, incluant la segmentation et classification d'images médicales. La segmentation automatique des lésions dans des IRMs du cerveau permet une quantification rapide de la progression de la maladie : un compte des nouvelles lésions, une mesure du volume lésionnel total et une description de la forme des lésions. Cette analyse peut ensuite être exploitée par le neuro-radiologue qui peut s'en servir pour adapter le traitement thérapeutique si nécessaire. Cela permet de rendre la décision médicale plus rapide et plus précise.Actuellement ces algorithmes, que l'on considère souvent comme des boîtes noires, produisent des prédictions sans aucune information concernant leur certitude. Cela empêche la pleine adoption des algorithmes d'intelligence artificielle dans les domaines sensibles, car ils ont en effet tendance à produire des erreurs avec une grande confiance, pouvant tromper les décideurs humains. Identifier et comprendre les causes de ces échecs est un élément clé pour maximiser l'utilité des algorithmes d'intelligence artificielle et permettre leur acceptation au sein du corps médical. Pour atteindre ce but, il est important de pouvoir distinguer entre les deux principales sources d'incertitude. Tout d'abord, l'incertitude aléatoire, qui correspond à l'incertitude liée au bruit intrinsèque de l'image, et les artefacts d'acquisition. Ensuite, l'incertitude épistémique, qui a attrait au manque de connaissance du modèle.L'objectif conjoint de Pixyl et du GIN est d'atteindre une meilleure identification des sources d'incertitude dans les réseaux de neurones profonds, et par conséquent développer de nouvelles méthodes pour estimer cette incertitude dans le cadre d'une utilisation clinique routinière et en temps réel.Dans le cadre de la segmentation d’images médicales, l’estimation de l’incertitude est pertinente à plusieurs échelles. Tout d’abord, à l’échelle du voxel, l’incertitude peut être quantifiée par le biais de cartes d’incertitude. Cela permet de superposer l’image, sa segmentation et la carte d’incertitude pour visualiser les régions incertaines. Ensuite, pour les pathologies comme la Sclérose-en-Plaques, l’attention du radiologue se situe à l’échelle de la lésion plutôt que du voxel. L’estimation d’incertitude structurelle, c’est-à-dire à l’échelle de la lésion, permet au radiologue de rapidement contrôler les lésions incertaines qui peuvent être des faux positifs. Troisièmement, des métriques haut-niveau comme le volume ou le nombre de lésions sont couramment extraites des segmentations. Être capable d’associer à ces métriques des intervalles prédictifs est important pour que le clinicien puisse prendre en compte cette incertitude dans son analyse. Pour finir, l’incertain peut être quantifiée à l’échelle de l’image entière, par exemple pour détecter les images hors-distributions qui présentent une anomalie importante pouvant biaiser leur analyse.Dans cette thèse, des outils de quantification d’incertitude opérant à chacun de ces niveaux sont développés. Plus généralement, les méthodes désirées et attendues devront permettre à Pixyl d'améliorer ces modèles, services et produits actuels. Pour l'application clinique, le temps d'inférence est particulièrement critique : l'assistance à la prise de décision est utile seulement si elle est suffisamment rapide pour être appliquée pendant la consultation du patient (c'est-à-dire en moins de 5 minutes). De plus, les solutions innovantes devront maintenir un haut niveau de performance même appliquée sur de petites bases de données d'image, ce qui est généralement le cas dans le domaine médical
In recent years, artificial intelligence algorithms have demonstrated outstanding performance in a wide range of tasks, including the segmentation and classification of medical images. The automatic segmentation of lesions in brain MRIs enables a rapid quantification of the disease progression: a count of new lesions, a measure of total lesion volume and a description of lesion shape. This analysis can then be used by the neuroradiologist to adapt therapeutic treatment if necessary. This makes medical decisions faster and more precise.At present, these algorithms, which are often regarded as black boxes, produce predictions without any information concerning their certainty. This hinders the full adoption of artificial intelligence algorithms in sensitive areas, as they tend to produce errors with high confidence, potentially misleading human decision-makers. Identifying and understanding the causes of these failures is key to maximizing the usefulness of AI algorithms and enabling their acceptance within the medical profession. To achieve this goal, it is important to be able to distinguish between the two main sources of uncertainty. First, aleatoric uncertainty, which corresponds to uncertainty linked to intrinsic image noise and acquisition artifacts. Secondly, epistemic uncertainty, which relates to the lack of knowledge of the model.The joint aim of Pixyl and GIN is to achieve better identification of the sources of uncertainty in deep neural networks, and consequently develop new methods for estimating this uncertainty in routine, real-time clinical use.In the context of medical image segmentation, uncertainty estimation is relevant at several scales. Firstly, at the voxel scale, uncertainty can be quantified using uncertainty maps. This makes it possible to superimpose the image, its segmentation and the uncertainty map to visualize uncertain area. Secondly, for pathologies such as Multiple Sclerosis, the radiologist's attention is focused on the lesion rather than the voxel. Structural uncertainty estimation, i.e. at the lesion scale, enables the radiologist to quickly control uncertain lesions that may be false positives. Thirdly, high-level metrics such as volume or number of lesions are commonly extracted from segmentations. Being able to associate predictive intervals with these metrics is important so that the clinician can take this uncertainty into account in his analysis. Finally, uncertainty can be quantified at the scale of the whole image, for example to detect out-of-distribution images that present a significant anomaly that could bias their analysis.In this thesis, the development of uncertainty quantification tools operating at each of these levels is proposed. More generally, the desired and expected methods should enable Pixyl to improve its current models, services and products. For clinical application, inference time is particularly critical: decision support is only useful if it is fast enough to be applied during patient consultation (i.e. in less than 5 minutes). What's more, innovative solutions will need to maintain a high level of performance even when applied to small image databases, as is generally the case in the medical field

L'utilisation généralisée des technologies à haut débit dans le domaine biomédical génère d'énormes quantités de données, notamment la nouvelle génération de technologies de séquençage du génome. L'alignement multiple de séquences sert d'outil fondamental pour analyser ces données, avec des applications dans l'annotation des génomes, prédiction des structures et fonctions des protéines, ou la compréhension des relations évolutives, etc. Toutefois, divers facteurs, tels que des algorithmes d'alignement peu fiables, une prédiction de gènes incorrecte, ou des séquençages génomiques incomplets, ont tendance à compromettre la précision des alignements multiples de séquences. Dans cette thèse, nous nous intéressons à l'évaluation de la qualité des données en utilisant des techniques d'apprentissage profond. Nous proposons des modèles basés sur les réseaux de neurones convolutifs pour l'identification d'erreurs dans les représentations visuelles des alignements. Notre objectif principal est de proposer un outil d'assistance aux experts du domaine dans leurs études, où la fiabilité des alignements est cruciale. Ainsi, nous nous sommes intéressés à fournir des explications fiables pour les prédictions de nos modèles en exploitant l'intelligence artificielle explicable (XAI). Plus particulièrement, nous avons exploité les explications visuelles comme fondement pour un mécanisme de transfert d'apprentissage visant principalement à améliorer la capacité d'un modèle à discerner les caractéristiques les plus pertinentes dans les données d'entrée. Enfin, nous avons proposé de nouvelles métriques conçues pour permettre l'évaluation de cette capacité. Les premiers résultats suggèrent que notre approche parvient à trouver un bon équilibre entre la complexité d'un modèle, sa performance, et son explicabilité, et qu'elle peut être exploitée dans des domaines où la disponibilité des données est limitée et la compréhension des résultats est cruciale
The widespread use of high throughput technologies in the biomedical field is producing massive amounts of data, notably the new generation of genome sequencing technologies. Multiple Sequence Alignment (MSA) serves as a fundamental tool for the analysis of this data, with applications including genome annotation, protein structure and function prediction, or understanding evolutionary relationships, etc. However, the accuracy of MSA is often compromised due to factors such as unreliable alignment algorithms, inaccurate gene prediction, or incomplete genome sequencing. This thesis addresses the issue of data quality assessment by leveraging deep learning techniques. We propose novel models based on convolutional neural networks for the identification of errors in visual representations of MSAs. Our primary objective is to assist domain experts in their research studies, where the accuracy of MSAs is crucial. Therefore, we focused on providing reliable explanations for our model predictions by harnessing the potential of explainable artificial intelligence (XAI). Particularly, we leveraged visual explanations as a foundation for a transfer learning framework that aims essentially to improve a model's ability to focus on underlying features in an input. Finally, we proposed novel evaluation metrics designed to assess this ability. Initial findings suggest that our approach achieves a good balance between model complexity, performance, and explainability, and could be leveraged in domains where data availability is limited and the need for comprehensive result explanation is paramount

Les technologies du numérique et de l'Intelligence Artificielle (IA) sont amenées à jouer un rôle essentiel dans tous les domaines de la société de demain pour améliorer le fonctionnement de la ville et la qualité de vie de ses habitants, tout en diminuant l'impact environnemental et la facture énergétique globale. Pour atteindre ses objectifs, il est nécessaire de penser les modes de complémentarité entre l'Humain et les systèmes intelligents. En effet, l'IA contribuera à rendre les villes intelligentes et sera vue comme un facteur d'amélioration de la qualité de vie, qui si elle est comprise et acceptée par les citoyens. Ce futur environnement urbain numérique ne peut alors se résumer à un réseau interconnecté de boîtes noires, mais doit tendre vers un réseau intelligent explicable, éthique et centré sur l'Humain. Ce chapitre se place dans ce contexte et propose des pistes de réflexion sur les enjeux numériques et sociétaux de la future ville intelligente.