Academic literature on the topic 'IA explicable'

Contexto: El avance de la inteligencia artificial (IA) ha traído numerosos beneficios en varios campos. Sin embargo, también plantea desafíos éticos que deben ser abordados. Uno de estos es la falta de explicabilidad en los sistemas de IA, i.e., la incapacidad de entender cómo la IA toma decisiones o genera resultados. Esto plantea preguntas sobre la transparencia y la responsabilidad de estas tecnologías. Esta falta de explicabilidad limita la comprensión de la manera en que los sistemas de IA llegan a ciertas conclusiones, lo que puede llevar a la desconfianza de los usuarios y afectar la adopción de tales tecnologías en sectores críticos (e.g., medicina o justicia). Además, existen dilemas éticos respecto a la responsabilidad y el sesgo en los algoritmos de IA. Método: Considerando lo anterior, existe una brecha de investigación relacionada con estudiar la importancia de la IA explicable desde un punto de vista ético. La pregunta de investigación es ¿cuál es el impacto ético de la falta de explicabilidad en los sistemas de IA y cómo puede abordarse? El objetivo de este trabajo es entender las implicaciones éticas de este problema y proponer métodos para abordarlo. Resultados: Nuestros hallazgos revelan que la falta de explicabilidad en los sistemas de IA puede tener consecuencias negativas en términos de confianza y responsabilidad. Los usuarios pueden frustrarse por no entender cómo se toma una decisión determinada, lo que puede llevarlos a desconfiar de la tecnología. Además, la falta de explicabilidad dificulta la identificación y la corrección de sesgos en los algoritmos de IA, lo que puede perpetuar injusticias y discriminación. Conclusiones: La principal conclusión de esta investigación es que la IA debe ser éticamente explicable para asegurar la transparencia y la responsabilidad. Es necesario desarrollar herramientas y metodologías que permitan entender cómo funcionan los sistemas de IA y cómo toman decisiones. También es importante fomentar la colaboración multidisciplinaria entre expertos en IA, ética y derechos humanos para abordar este desafío de manera integral.


 The problem of detecting anomalous documents in text collections is considered. The existing methods for detecting anomalies are not universal and do not show a stable result on different data sets. The accuracy of the results depends on the choice of parameters at each step of the problem solving algorithm process, and for different collections different sets of parameters are optimal. Not all of the existing algorithms for detecting anomalies work effectively with text data, which vector representation is characterized by high dimensionality with strong sparsity.The problem of finding anomalies is considered in the following statement: it is necessary to checking a new document uploaded to an applied intelligent information system for congruence with a homogeneous collection of documents stored in it. In such systems that process legal documents the following limitations are imposed on the anomaly detection methods: high accuracy, computational efficiency, reproducibility of results and explicability of the solution. Methods satisfying these conditions are investigated.The paper examines the possibility of evaluating text documents on the scale of anomaly by deliberately introducing a foreign document into the collection. A strategy for detecting novelty of the document in relation to the collection is proposed, which assumes a reasonable selection of methods and parameters. It is shown how the accuracy of the solution is affected by the choice of vectorization options, tokenization principles, dimensionality reduction methods and parameters of novelty detection algorithms.The experiment was conducted on two homogeneous collections of documents containing technical norms: standards in the field of information technology and railways. The following approaches were used: calculation of the anomaly index as the Hellinger distance between the distributions of the remoteness of documents to the center of the collection and to the foreign document; optimization of the novelty detection algorithms depending on the methods of vectorization and dimensionality reduction. The vector space was constructed using the TF-IDF transformation and ARTM topic modeling. The following algorithms have been tested: Isolation Forest, Local Outlier Factor and One-Class SVM (based on Support Vector Machine).The experiment confirmed the effectiveness of the proposed optimization strategy for determining the appropriate method for detecting anomalies for a given text collection. When searching for an anomaly in the context of topic clustering of legal documents, the Isolating Forest method is proved to be effective. When vectorizing documents using TF-IDF, it is advisable to choose the optimal dictionary parameters and use the One-Class SVM method with the corresponding feature space transformation function.

À l’heure de l’intelligence artificielle (IA) dite générative, des algorithmes d’apprentissage profond ( Deep Learning ), de l’IA explicable, de l’IA de confiance, bon nombre de personnes ne mesurent pas la nécessité de modéliser et de structurer le domaine lorsqu’il s’agit de réaliser une opération de management de la connaissance. La question est à deux niveaux : est-ce que cela a un sens et pourquoi ?

L’intelligence artificielle (IA) représente un défi majeur pour l’innovation responsable (IR) en raison de l’ampleur des transformations sociétales et productives qu’elle induit. L’enjeu de l’inscription de l’IA dans l’innovation responsable ne réside pas tant dans l’absence de concepts théoriques pour guider son développement, mais plutôt dans la multiplication de ces concepts (IA explicable, IA transparente, IA durable, IA juste…) et dans leur discutable propension à se traduire en actions concrètes réellement transformatrices des écosystèmes d’innovations. À partir d’une analyse bibliométrique de la littérature, cet article propose une cartographie des principaux concepts contribuant à inscrire l’IA dans une démarche d’innovation responsable. Les résultats mettent en lumière la difficile articulation des concepts entre eux, notamment au regard de la concurrence entre les acteurs et les dispositifs d’action préconisés. Cette étude contribue à la littérature sur les défis de l’adoption de l’IA et de son inscription dans une démarche d’innovation responsable, elle discute également des risques et opportunités associés à la multiplication de concepts pour inscrire des technologies émergentes dans une démarche d’innovation responsable. Codes JEL : O32, O33

La Inteligencia Artificial (IA) ha transformado múltiples disciplinas, en concreto en el área médica se ha distinguido por su capacidad de mejorar diagnósticos y tratamientos. No obstante, la falta de transparencia en los sistemas ha generado desafíos prácticos. La Inteligencia Artificial Explicable (XAI) ha surgido como una solución para abordar estos problemas, permitiendo a los profesionales de la salud comprender y verificar las decisiones de los algoritmos. En este trabajo se aplicarán dos técnicas comúnmente usadas de XAI, específicamente SHapley Additive exPlanations (SHAP) y Local Interpretable Model-Agnostic Explanations (LIME), para interpretar un modelo de red neuronal convolucional usado en el diagnóstico de cáncer de mama a partir de imágenes histológicas del Carcinoma Ductal Invasivo (IDC). Los resultados muestran que ambas técnicas son efectivas para identificar las contribuciones individuales de las características en las predicciones del modelo, resaltando que LIME ofrece una granularidad detallada a nivel de píxel.

Insider trading and regulatory inconsistencies have important historical challenges to the integrity and stability of global financial markets. These issues challenge trust, transparency, and fairness are requiring solutions. In this study, we introduce a novel artificial intelligence (AI)-driven system that carefully addressing these challenges. The proposed system employs machine learning models for insider trading detection, natural language processing (NLP) for sentiment analysis, and graph neural networks (GNNs) to detect irregular patterns in blockchain transactions. Moreover, reinforcement learning techniques are utilized here to complement regulatory standards dynamically, enhancing policy flexibility and market agreement. Explainable AI (XAI) were used here as well to ensure the transparency and trust in decision-making processes, this helps stakeholders to take actions. Experimental evaluations prove the system efficiency, with promising precision and recall percentages, enhanced governance in decentralized systems, and robust cross-jurisdictional regulatory alignment. This research contributes to knowledge by proving the transformative prospective of AI in strengthening regulatory frameworks and improving governance mechanisms in financial systems. The achievements here provide a roadmap for policymakers, financial institutions, and technology developers to build reasonable, efficient, and resistant markets.El tráfico de información privilegiada y las inconsistencias regulatorias han sido desafíos históricos importantes para la integridad y estabilidad de los mercados financieros globales. Estos problemas desafían la confianza, la transparencia y la equidad y requieren soluciones. En este estudio, presentamos un nuevo sistema impulsado por inteligencia artificial (IA) que aborda cuidadosamente estos desafíos. El sistema propuesto emplea modelos de aprendizaje automático para la detección de tráfico de información privilegiada, procesamiento del lenguaje natural (NLP) para el análisis de sentimientos y redes neuronales gráficas (GNN) para detectar patrones irregulares en transacciones de blockchain. Además, aquí se utilizan técnicas de aprendizaje de refuerzo para complementar los estándares regulatorios de forma dinámica, mejorando la flexibilidad de las políticas y el acuerdo del mercado. Aquí también se utilizó IA explicable (XAI) para garantizar la transparencia y la confianza en los procesos de toma de decisiones, lo que ayuda a las partes interesadas a tomar medidas. Las evaluaciones experimentales prueban la eficiencia del sistema, con porcentajes prometedores de precisión y recuperación, una gobernanza mejorada en sistemas descentralizados y una sólida alineación regulatoria interjurisdiccional. Esta investigación contribuye al conocimiento al demostrar la perspectiva transformadora de la IA en el fortalecimiento de los marcos regulatorios y la mejora de los mecanismos de gobernanza en los sistemas financieros. Los logros aquí alcanzados proporcionan una hoja de ruta para que los responsables de las políticas, las instituciones financieras y los desarrolladores de tecnología construyan mercados razonables, eficientes y resistentes.

Resumen Los objetivos del artículo son: 1) Analizar la relación entre inseguridad alimentaria (IA) y adherencia al tratamiento antiretroviral (TAR) en personas con VIH/SIDA. 2) Evaluar la contribución de cuatro posibles mediadores (responsabilidades laborales y familiares, falta de recursos para cubrir necesidades, distrés psicológico y efectos secundarios del TAR) a dicha asociación. Estudio transversal con una muestra (n = 557) de personas con VIH atendidas en dos instituciones públicas de la ciudad de México. Las variables fueron indagadas mediante un cuestionario. Mediante modelos de regresión logística se evaluó si los mediadores explicaban la asociación entre IA y adherencia al TAR. Las personas con IA moderada tuvieron mayor probabilidad de omisión en el mes previo (OR = 2.10) y baja adherencia (OR = 3.35). La baja adherencia en las personas con IA fue explicada por los efectos secundarios (14.9%), las necesidades insatisfechas (12.5%), las responsabilidades (4.8%) y el distrés psicológico (2.0%). La IA puede limitar los beneficios de las políticas de acceso universal al TAR pues puede estar asociada con menor adherencia a ésta. Se requiere adecuar los servicios de salud para reducir el efecto de la IA.

Abstract The post-1945 international order is in crisis, spurring a wide-ranging debate about its future in a period of rapid global change. A critical dimension of this crisis has been neglected by existing perspectives, however. At multiple levels the post-1945 international order is being challenged by claims of justice. Diverse actors criticize the order for its economic inequalities, social hierarchies, institutional unfairness, intergenerational inequities, and historical and epistemic injustices. This article, which serves as an introduction to a special section on ‘Injustice and the crisis of international order’ seeks to map and explicate this polymorphic politics of global justice. We begin by reviewing past debates about justice and order in world politics, highlighting their narrow and over-stylized engagement with justice politics. To fill this gap, we develop a typology of contemporary justice claims, differentiating between recognitional, institutional, distributive, historical and epistemic, and intergenerational claims. Our goal is not only to distinguish these distinct kinds of justice claims, however. We argue that justice claims are also intersectional, multiscalar and multivocal, with significant implications for how the relationship between justice and order is managed in contemporary world politics.

Abstract States are keen to send representatives to international organizations, instructing them to pursue national interests and monitor staff. Yet academics tend to ignore these individuals and approximate state influence by vote shares and other state-level attributes. Against this background, I examine when state representatives in international organizations wield outsize influence on decision-making. Based on scholarship of bureaucrats in international organizations, European studies and an interdisciplinary literature on negotiation, I argue that state delegates matter beyond their national affiliation. Empirically, I study one especially powerful institution in global governance: the International Monetary Fund (IMF). Elite interviews with IMF state representatives demonstrate that delegates carefully plan their interventions, behaving independently while also extending their constituents' interests. Based on the analysis of these interviews, I theorize ‘respected individuals’ to describe state representatives who can wield outsize influence on decision-making. Their prestige and impact depend on: first, perceived autonomy from their home governments; and second, relevant expertise, social skills and deliberative craft. In the IMF, respected individuals are most likely to represent relatively weak states; more generally, my work speaks to debates on the power of small states in international financial institutions and multilateral negotiations. Together, the findings explicate how individuals impact organizational decision-making, with important implications for practitioners in such institutions.

Abstract In this article, we investigate how India's refugee policy towards the Rohingya is implicated in the (re)production of the Bharatiya Janata Party's (BJP) populist project. We enhance an innovative contextual intersectional framework, drawing on Ernesto Laclau's conceptualization of populism as a political logic and build on Shweta Singh and Élise Féron's understanding of this populist logic as discursively co-constituted and based on varying intersecting identity constellations including race/ethnicity, religion, caste, class or gender/sexual orientation. Using this framework, we investigate how India's refugee policy towards Rohingya refugees in particular has evolved under successive populist governments led by the BJP. Analysing three key dimensions of India's refugee policy—legal framework, admission and status, and protection and security—we demonstrate significant shifts along these dimensions in India's refugee policy towards the Rohingya, and explicate the populist logic that is reinscribed through these changes at the site of ‘foreign policy’. Our analysis reveals these shifts as co-constituted in and through the populist logic of the BJP-led governments and relying on identity assemblages that emphasized the Rohingya's ethnicity/religion (Rohingya ‘Muslims’), gender/ sexual orientation (Rohingya ‘men’) and class (Rohingya in need of resources/ privileges). Our study opens up grounds for further research on how refugee policy, as a mode of foreign policy, becomes a site where populist governments reinscribe differences between the ‘people’ and dangerous enemy ‘others’ to (re)produce their populist political projects.

Les maisons intelligentes sont des systèmes cyber-physiques dans lesquels de nombreux composants intéragissent les uns avec les autres pour accomplir des objectifs de haut niveau comme le confort ou la sécurité de l'occupant. Ces systèmes autonomiques sont capables de s'adapter sans demander d'intervention de la part de l'utilisateur: ce fonctionnement autonomique est difficile à comprendre pour l'occupant. Ce manque d'explicabilité peut être un frein à l'adoption plus large de tels systèmes. Depuis le milieu des années 2010, l'explicabilité des modèles complexes d'IA est devenue un sujet de recherche important. La difficulté à expliquer les systèmes autonomiques ne vient pas de la complexité des composants, mais plutôt de leur capacité d'adaptation qui peut entraîner des changements de configurations, de logique ou d'objectifs. Par ailleurs, l'hétérogénéité des dispositifs présents dans une maison intelligente complique la tâche. Afin de répondre à ces difficultés, nous proposons d'ajouter à un système autonomique de maison intelligente un système explicatif dont le rôle sera d'observer les différents contrôleurs, capteurs et équipements présents pour générer des explications à l'occupant. Nous définissons six objectifs pour un tel système. 1) Produire des explications contrastives, c'est-à-dire qui visent les situations inattendues ou non voulues. 2) Produire des explications peu profondes, dont les éléments sont causalement proches. 3) Être transparent: exposer son raisonnement et quels composants sont impliqués dans le processus. 4) Être capable de réflexivité, d'exposer ses propres états et changement d'état comme explications à un phénomène. 5) Être générique, pouvoir s'adapter à des composants et des architectures de systèmes autonomiques variées. 6) Respecter la protection des données et favoriser le traitement local, au plus près du capteur. Notre réflexion a abouti à un système explicatif dans lequel un composant central, nommé le ``Spotlight'' est guidé par l'algorithme D-CAS qui identifie trois éléments dans le processus: la détection de conflits par interprétation des observations, la propagation par abduction et la simulation de conséquences possibles. Ces trois étapes sont réalisées par des composants explicatifs locaux qui sont tour à tour interrogés par le Spotlight. Chaque composant local est relié à un capteur, actionneur ou contrôleur du système autonomique, et agit comme un expert dans le domaine associé. Cette organisation permet l'ajout de nouveaux composants, intégrant leurs connaissances au sein du système global sans demander de reconfiguration. Nous illustrons ce fonctionnement en réalisant un prototype générant des explications sur des cas typiques. Nous proposons que les composants explicatifs locaux soient des plateformes génériques pouvant être spécialisées par l'ajout de modules dont nous définissons les interfaces. Cette modularité permet d'intégrer des techniques diverses d'interprétation, d'abduction et de simulation. Notre système visant particulièrement des situations inhabituelles pour lesquelles les données peuvent être rares, les méthodes d'abduction basées sur les occurences passées sont inapplicables. Nous proposons une approche nouvelle : estimer la mémorabilité des événements afin d'utiliser les plus notables comme hypothèses pertinentes à un phénomène surprenant. Notre approche de haut niveau de l'explicabilité a une visée générique, et pose les bases pour des systèmes intégrant des modules plus avancés, permettant de garantir l'explicabilité d'une maison intelligente, mais aussi d'autres systèmes cyber-physiques<br>Smart homes are Cyber-Physical Systems where various components cooperate to fulfill high-level goals such as user comfort or safety. These autonomic systems can adapt at runtime without requiring human intervention. This adaptation is hard to understand for the occupant, which can hinder the adoption of smart home systems. Since the mid 2010s, explainable AI has been a topic of interest, aiming to open the black box of complex AI models. The difficulty to explain autonomic systems does not come from the intrinsic complexity of their components, but rather from their self-adaptation capability which leads changes of configuration, logic or goals at runtime. In addition, the diversity of smart home devices makes the task harder. To tackle this challenge, we propose to add an explanatory system to the existing smart home autonomic system, whose task is to observe the various controllers and devices to generate explanations. We define six goals for such a system. 1) To generate contrastive explanations in unexpected or unwanted situations. 2) To generate a shallow reasoning, whose different elements are causaly closely related to each other. 3) To be transparent, i.e. to expose its entire reasoning and which components are involved. 4) To be self-aware, integrating its reflective knowledge into the explanation. 5) To be generic and able to adapt to diverse components and system architectures. 6) To preserve privacy and favor locality of reasoning. Our proposed solution is an explanatory system in which a central component, name the ``Spotlight'', implements an algorithm named D-CAS. This algorithm identifies three elements in an explanatory process: conflict detection via observation interpretation, conflict propagation via abductive inference and simulation of possible consequences. All three steps are performed locally, by Local Explanatory Components which are sequentially interrogated by the Spotlight. Each Local Component is paired to an autonomic device or controller and act as an expert in the related knowledge domain. This organization enables the addition of new components, integrating their knowledge into the general system without need for reconfiguration. We illustrate this architecture and algorithm in a proof-of-concept demonstrator that generates explanations in typical use cases. We design Local Explanatory Components to be generic platforms that can be specialized by the addition of modules with predefined interfaces. This modularity enables the integration of various techniques for abduction, interpretation and simulation. Our system aims to handle unusual situations in which data may be scarce, making past occurrence-based abduction methods inoperable. We propose a novel approach: to estimate events memorability and use them as relevant hypotheses to a surprising phenomenon. Our high-level approach to explainability aims to be generic and paves the way towards systems integrating more advanced modules, guaranteeing smart home explainability. The overall method can also be used for other Cyber-Physical Systems

Avec les progrès récents dans le domaine de l'intelligence artificielle, la question du contrôle humain est devenu centrale. Aujourd'hui, cela passe à la fois par des recherches en explicabilité et des systèmes centrés autour de l'interaction avec l'utilisateur·ice. De plus, avec l'expansion du web sémantique et des méthodes de traitement automatique du langage naturelle, la tâche de construction de graphes de connaissances à partir de textes est devenu un enjeu important. Cette thèse présente un système centré-utilisateur·ice pour la construction de graphes de connaissances à partir de textes. Cette thèse présente plusieurs contributions. Tout d'abord, nous introduisons un workflow centré-utilisateur·ice pour la tâche sus-citée, ayant la propriété d'automatiser progressivement les actions de l'utilisateur·ice tout en lui laissant un contrôle fin du résultat. Ensuite, nous présentons nos apports dans le domaine de l'analyse de concepts formels, utilisés afin de concevoir un module d'apprentissage fainéant et explicable pour la tâche de classification de relations. Enfin, nous présentons nos apports dans le domaine de l'extraction de relations, et comment ces apports s'inscrivent dans le workflow présenté précédemment<br>With recent advances in artificial intelligence, the question of human control has become central. Today, this involves both research into explainability and designs centered around interaction with the user. What's more, with the expansion of the semantic web and automatic natural language processing methods, the task of constructing knowledge graphs from texts has become an important issue. This thesis presents a user-centered system for the construction of knowledge graphs from texts. This thesis presents several contributions. First, we introduce a user-centered workflow for the aforementioned task, having the property of progressively automating the user's actions while leaving them a fine-grained control over the outcome. Next, we present our contributions in the field of formal concept analysis, used to design an explainable instance-based learning module for relation classification. Finally, we present our contributions in the field of relation extraction, and how these fit into the presented workflow

« Pourquoi est-ce qu’on me recommande toujours les même musiques ? » « Pourquoi notre système recommande-t’il cela aux utilisateurs ? » De nos jours, les plateformes de streaming sont le moyen le plus courant d'écouter de la musique enregistrée. Pourtant, les recommandations musicales — au cœur de ces plateformes — sont loin d’être une mince affaire. Il arrive parfois qu’utilisateurs et ingénieurs soient tout aussi perplexes du comportement d’un système de recommandation musicale (SRM). Les SRM ont été utilisés avec succès pour aider à explorer des catalogues comptant des dizaines de millions de titres musicaux. Construits et optimisés pour la précision, les SRM industriels sont souvent assez complexes. Ils peuvent en outre dépendre de nombreux modules interconnectés qui, notamment, analysent les signaux audio, récupèrent les métadonnées d’albums et artistes et les interactions des utilisateurs du service, et estiment des similarités basées sur du filtrage collaboratif. Cette complexité va en l’encontre de la capacité d'expliquer les recommandations et, plus généralement, ces systèmes. Pourtant, les explications sont essentielles pour fidéliser des utilisateurs sur le long termes avec un système qu'ils peuvent comprendre (et pardonner), et pour les propriétaires du système pour rationaliser les erreurs dudit système. L'interprétabilité peut également être nécessaire pour vérifier l'équité d'une décision ou peut être envisagées comme un moyen de rendre les recommandations plus contrôlables. Nous pouvons également récursivement demander : pourquoi une méthode d'explication explique-t-elle d'une certaine manière ? Cette explication est-elle pertinente ? Quelle pourrait être une meilleure explication ? Toutes ces questions sont liées à l'interprétabilité des SRM. Dans une première partie, nous explorons les multiples visages de l'interprétabilité dans diverses tâches de recommandation. En effet, puisqu'il n'y a pas une seule tâche de recommandation mais plusieurs (e.g., recommandation séquentielle, continuation de playlists, similarité artistes), ainsi que de nombreuses modalités de représentation de la musique (e.g., métadonnées, signaux audio, plongements), il y a autant de tâches possibles d’explications nécessitant des ajustements. Notre étude a été guidée par l’exploration des modalités sus-mentionnées : l'interprétation des signaux implicites utilisateurs, des caractéristiques, des signaux audio, et des inter-similarités. Notre thèse présente plusieurs nouvelles méthodes pour l'IA explicable (XAI) et plusieurs résultats théoriques, portant un nouvel éclairage sur notre compréhension des méthodes passées. Néanmoins, les méthodes d’explications peuvent à leur tour manquer d'interprétabilité. C'est pourquoi, une deuxième partie, nous avons jugé essentiel de prendre du recul par rapport aux discours habituels de l’IA et d'essayer de répondre à une question paradoxalement peu claire pour l’XAI : « Qu'est-ce que l'interprétabilité ? » En s'appuyant sur des concepts issus des sciences sociales, nous soulignons qu'il existe un décalage entre la manière dont les explications de l'XAI sont générées et la manière dont les humains expliquent réellement. Nous suggérons que la recherche actuelle a tendance à trop s'appuyer sur des intuitions et des réductions hâtive de réalités complexes en termes mathématiques commodes, conduisant à ériger des hypothèses en normes discutables (e.g., la parcimonie entraîne l'interprétabilité). Nous avons pensé cette partie comme un tutoriel destiné aux chercheurs en IA afin de renforcer leur connaissance des explications avec un vocabulaire précis et une perspective plus large. Nous résumons des conseils pratiques et mettons en évidence des branches moins populaires de l'XAI mieux alignées avec l’humain. Cela nous permet de formuler une perspective globale pour notre domaine de l'XAI, y compris ses prochaines étapes les plus critiques et prometteuses ainsi que ses lacunes à surmonter<br>‘‘Why do they keep recommending me this music track?’’ ‘‘Why did our system recommend these tracks to users?’’ Nowadays, streaming platforms are the most common way to listen to recorded music. Still, music recommendations — at the heart of these platforms — are not an easy feat. Sometimes, both users and engineers may be equally puzzled about the behaviour of a music recommendation system (MRS). MRS have been successfully employed to help explore catalogues that may be as large as tens of millions of music tracks. Built and optimised for accuracy, real-world MRS often end up being quite complex. They may further rely on a range of interconnected modules that, for instance, analyse audio signals, retrieve metadata about albums and artists, collect and aggregate user feedbacks on the music service, and compute item similarities with collaborative filtering. All this complexity hinders the ability to explain recommendations and, more broadly, explain the system. Yet, explanations are essential for users to foster a long-term engagement with a system that they can understand (and forgive), and for system owners to rationalise failures and improve said system. Interpretability may also be needed to check the fairness of a decision or can be framed as a means to control the recommendations better. Moreover, we could also recursively question: Why does an explanation method explain in a certain way? Is this explanation relevant? What could be a better explanation? All these questions relate to the interpretability of MRSs. In the first half of this thesis, we explore the many flavours that interpretability can have in various recommendation tasks. Indeed, since there is not just one recommendation task but many (e.g., sequential recommendation, playlist continuation, artist similarity), as well as many angles through which music may be represented and processed (e.g., metadata, audio signals, embeddings computed from listening patterns), there are as many settings that require specific adjustments to make explanations relevant. A topic like this one can never be exhaustively addressed. This study was guided along some of the mentioned modalities of musical objects: interpreting implicit user logs, item features, audio signals and similarity embeddings. Our contribution includes several novel methods for eXplainable Artificial Intelligence (XAI) and several theoretical results, shedding new light on our understanding of past methods. Nevertheless, similar to how recommendations may not be interpretable, explanations about them may themselves lack interpretability and justifications. Therefore, in the second half of this thesis, we found it essential to take a step back from the rationale of ML and try to address a (perhaps surprisingly) understudied question in XAI: ‘‘What is interpretability?’’ Introducing concepts from philosophy and social sciences, we stress that there is a misalignment in the way explanations from XAI are generated and unfold versus how humans actually explain. We highlight that current research tends to rely too much on intuitions or hasty reduction of complex realities into convenient mathematical terms, which leads to the canonisation of assumptions into questionable standards (e.g., sparsity entails interpretability). We have treated this part as a comprehensive tutorial addressed to ML researchers to better ground their knowledge of explanations with a precise vocabulary and a broader perspective. We provide practical advice and highlight less popular branches of XAI better aligned with human cognition. Of course, we also reflect back and recontextualise our methods proposed in the previous part. Overall, this enables us to formulate some perspective for our field of XAI as a whole, including its more critical and promising next steps as well as its shortcomings to overcome

Ces dernières années, les algorithmes d'intelligence artificielle ont démontré des performances exceptionnelles dans de nombreuses tâches, incluant la segmentation et classification d'images médicales. La segmentation automatique des lésions dans des IRMs du cerveau permet une quantification rapide de la progression de la maladie : un compte des nouvelles lésions, une mesure du volume lésionnel total et une description de la forme des lésions. Cette analyse peut ensuite être exploitée par le neuro-radiologue qui peut s'en servir pour adapter le traitement thérapeutique si nécessaire. Cela permet de rendre la décision médicale plus rapide et plus précise.Actuellement ces algorithmes, que l'on considère souvent comme des boîtes noires, produisent des prédictions sans aucune information concernant leur certitude. Cela empêche la pleine adoption des algorithmes d'intelligence artificielle dans les domaines sensibles, car ils ont en effet tendance à produire des erreurs avec une grande confiance, pouvant tromper les décideurs humains. Identifier et comprendre les causes de ces échecs est un élément clé pour maximiser l'utilité des algorithmes d'intelligence artificielle et permettre leur acceptation au sein du corps médical. Pour atteindre ce but, il est important de pouvoir distinguer entre les deux principales sources d'incertitude. Tout d'abord, l'incertitude aléatoire, qui correspond à l'incertitude liée au bruit intrinsèque de l'image, et les artefacts d'acquisition. Ensuite, l'incertitude épistémique, qui a attrait au manque de connaissance du modèle.L'objectif conjoint de Pixyl et du GIN est d'atteindre une meilleure identification des sources d'incertitude dans les réseaux de neurones profonds, et par conséquent développer de nouvelles méthodes pour estimer cette incertitude dans le cadre d'une utilisation clinique routinière et en temps réel.Dans le cadre de la segmentation d’images médicales, l’estimation de l’incertitude est pertinente à plusieurs échelles. Tout d’abord, à l’échelle du voxel, l’incertitude peut être quantifiée par le biais de cartes d’incertitude. Cela permet de superposer l’image, sa segmentation et la carte d’incertitude pour visualiser les régions incertaines. Ensuite, pour les pathologies comme la Sclérose-en-Plaques, l’attention du radiologue se situe à l’échelle de la lésion plutôt que du voxel. L’estimation d’incertitude structurelle, c’est-à-dire à l’échelle de la lésion, permet au radiologue de rapidement contrôler les lésions incertaines qui peuvent être des faux positifs. Troisièmement, des métriques haut-niveau comme le volume ou le nombre de lésions sont couramment extraites des segmentations. Être capable d’associer à ces métriques des intervalles prédictifs est important pour que le clinicien puisse prendre en compte cette incertitude dans son analyse. Pour finir, l’incertain peut être quantifiée à l’échelle de l’image entière, par exemple pour détecter les images hors-distributions qui présentent une anomalie importante pouvant biaiser leur analyse.Dans cette thèse, des outils de quantification d’incertitude opérant à chacun de ces niveaux sont développés. Plus généralement, les méthodes désirées et attendues devront permettre à Pixyl d'améliorer ces modèles, services et produits actuels. Pour l'application clinique, le temps d'inférence est particulièrement critique : l'assistance à la prise de décision est utile seulement si elle est suffisamment rapide pour être appliquée pendant la consultation du patient (c'est-à-dire en moins de 5 minutes). De plus, les solutions innovantes devront maintenir un haut niveau de performance même appliquée sur de petites bases de données d'image, ce qui est généralement le cas dans le domaine médical<br>In recent years, artificial intelligence algorithms have demonstrated outstanding performance in a wide range of tasks, including the segmentation and classification of medical images. The automatic segmentation of lesions in brain MRIs enables a rapid quantification of the disease progression: a count of new lesions, a measure of total lesion volume and a description of lesion shape. This analysis can then be used by the neuroradiologist to adapt therapeutic treatment if necessary. This makes medical decisions faster and more precise.At present, these algorithms, which are often regarded as black boxes, produce predictions without any information concerning their certainty. This hinders the full adoption of artificial intelligence algorithms in sensitive areas, as they tend to produce errors with high confidence, potentially misleading human decision-makers. Identifying and understanding the causes of these failures is key to maximizing the usefulness of AI algorithms and enabling their acceptance within the medical profession. To achieve this goal, it is important to be able to distinguish between the two main sources of uncertainty. First, aleatoric uncertainty, which corresponds to uncertainty linked to intrinsic image noise and acquisition artifacts. Secondly, epistemic uncertainty, which relates to the lack of knowledge of the model.The joint aim of Pixyl and GIN is to achieve better identification of the sources of uncertainty in deep neural networks, and consequently develop new methods for estimating this uncertainty in routine, real-time clinical use.In the context of medical image segmentation, uncertainty estimation is relevant at several scales. Firstly, at the voxel scale, uncertainty can be quantified using uncertainty maps. This makes it possible to superimpose the image, its segmentation and the uncertainty map to visualize uncertain area. Secondly, for pathologies such as Multiple Sclerosis, the radiologist's attention is focused on the lesion rather than the voxel. Structural uncertainty estimation, i.e. at the lesion scale, enables the radiologist to quickly control uncertain lesions that may be false positives. Thirdly, high-level metrics such as volume or number of lesions are commonly extracted from segmentations. Being able to associate predictive intervals with these metrics is important so that the clinician can take this uncertainty into account in his analysis. Finally, uncertainty can be quantified at the scale of the whole image, for example to detect out-of-distribution images that present a significant anomaly that could bias their analysis.In this thesis, the development of uncertainty quantification tools operating at each of these levels is proposed. More generally, the desired and expected methods should enable Pixyl to improve its current models, services and products. For clinical application, inference time is particularly critical: decision support is only useful if it is fast enough to be applied during patient consultation (i.e. in less than 5 minutes). What's more, innovative solutions will need to maintain a high level of performance even when applied to small image databases, as is generally the case in the medical field

L'utilisation généralisée des technologies à haut débit dans le domaine biomédical génère d'énormes quantités de données, notamment la nouvelle génération de technologies de séquençage du génome. L'alignement multiple de séquences sert d'outil fondamental pour analyser ces données, avec des applications dans l'annotation des génomes, prédiction des structures et fonctions des protéines, ou la compréhension des relations évolutives, etc. Toutefois, divers facteurs, tels que des algorithmes d'alignement peu fiables, une prédiction de gènes incorrecte, ou des séquençages génomiques incomplets, ont tendance à compromettre la précision des alignements multiples de séquences. Dans cette thèse, nous nous intéressons à l'évaluation de la qualité des données en utilisant des techniques d'apprentissage profond. Nous proposons des modèles basés sur les réseaux de neurones convolutifs pour l'identification d'erreurs dans les représentations visuelles des alignements. Notre objectif principal est de proposer un outil d'assistance aux experts du domaine dans leurs études, où la fiabilité des alignements est cruciale. Ainsi, nous nous sommes intéressés à fournir des explications fiables pour les prédictions de nos modèles en exploitant l'intelligence artificielle explicable (XAI). Plus particulièrement, nous avons exploité les explications visuelles comme fondement pour un mécanisme de transfert d'apprentissage visant principalement à améliorer la capacité d'un modèle à discerner les caractéristiques les plus pertinentes dans les données d'entrée. Enfin, nous avons proposé de nouvelles métriques conçues pour permettre l'évaluation de cette capacité. Les premiers résultats suggèrent que notre approche parvient à trouver un bon équilibre entre la complexité d'un modèle, sa performance, et son explicabilité, et qu'elle peut être exploitée dans des domaines où la disponibilité des données est limitée et la compréhension des résultats est cruciale<br>The widespread use of high throughput technologies in the biomedical field is producing massive amounts of data, notably the new generation of genome sequencing technologies. Multiple Sequence Alignment (MSA) serves as a fundamental tool for the analysis of this data, with applications including genome annotation, protein structure and function prediction, or understanding evolutionary relationships, etc. However, the accuracy of MSA is often compromised due to factors such as unreliable alignment algorithms, inaccurate gene prediction, or incomplete genome sequencing. This thesis addresses the issue of data quality assessment by leveraging deep learning techniques. We propose novel models based on convolutional neural networks for the identification of errors in visual representations of MSAs. Our primary objective is to assist domain experts in their research studies, where the accuracy of MSAs is crucial. Therefore, we focused on providing reliable explanations for our model predictions by harnessing the potential of explainable artificial intelligence (XAI). Particularly, we leveraged visual explanations as a foundation for a transfer learning framework that aims essentially to improve a model's ability to focus on underlying features in an input. Finally, we proposed novel evaluation metrics designed to assess this ability. Initial findings suggest that our approach achieves a good balance between model complexity, performance, and explainability, and could be leveraged in domains where data availability is limited and the need for comprehensive result explanation is paramount

Dès la conception, des facteurs environnementaux tels que la qualité de l'air ou les habitudes alimentaires peuvent significativement influencer le risque de développer diverses maladies chroniques. Dans la littérature épidémiologique, des indicateurs connus sous le nom de Scores de Risque Environnemental (Environmental Risk Score, ERS) sont utilisés non seulement pour identifier les individus à risque, mais aussi pour étudier les relations entre les facteurs environnementaux et la santé. Une limite de la plupart des ERSs est qu'ils sont exprimés sous forme de combinaisons linéaires d'un nombre limité de facteurs. Cette thèse de doctorat vise à développer des indicateurs ERSs capables d'investiguer des relations non linéaires et des interactions à travers un large éventail d'expositions tout en découvrant des facteurs actionnables pour guider des mesures et interventions préventives, tant chez les adultes que chez les enfants. Pour atteindre cet objectif, nous exploitons les capacités prédictives des méthodes d'apprentissage automatique non paramétriques, combinées avec des outils récents d'IA explicable et des connaissances existantes du domaine. Dans la première partie de cette thèse, nous calculons des scores de risque environnemental basés sur l'apprentissage automatique pour la santé mentale, cardiométabolique et respiratoire de l'enfant. En plus d'identifier des relations non linéaires et des interactions entre expositions, nous avons identifié de nouveaux prédicteurs de maladies chez les enfants. Les scores peuvent expliquer une proportion significative de la variance des données et leurs performances sont stables à travers différentes cohortes. Dans la deuxième partie, nous proposons SEANN, une nouvelle approche intégrant des connaissances expertes sous forme d'Effet Agrégées (Pooled Effect Size, PES) dans l'entraînement de réseaux neuronaux profonds pour le calcul de scores de risque environnemental informés (Informed ERS). SEANN vise à calculer des ERSs plus robustes, généralisables à une population plus large, et capables de capturer des relations d'exposition plus proches de celles connues dans la littérature. Nous illustrons expérimentalement les avantages de cette approche en utilisant des données synthétiques. Par rapport à un réseau neuronal agnostique, nous obtenons une meilleure généralisation des prédictions dans des contextes de données bruitées et une fiabilité améliorée des interprétations obtenues en utilisant des méthodes d'Intelligence Artificielle Explicable (Explainable AI - XAI).Dans la dernière partie de cette thèse, nous proposons une application concrète de SEANN en utilisant les données d'une cohorte espagnole composée d'adultes. Comparé à un score de risque environnemental basé sur un réseau neuronal agnostique, le score obtenu avec SEANN capture des relations mieux alignées avec les associations de la littérature sans détériorer les performances prédictives. De plus, les expositions ayant une couverture littéraire limitée diffèrent significativement de celles obtenues avec la méthode agnostique de référence en bénéficiant de directions d'associations plus plausibles. En conclusion, nos scores de risque démontrent un indubitable potentiel pour la découverte informée de relation environnement-santé non linéaires peu connues, tirant parti des connaissances existantes sur les relations bien connues. Au-delà de leur utilité dans la recherche épidémiologique, nos indicateurs de risque sont capables de capturer, de manière holistique, des relations de risque au niveau individuel et d'informer les praticiens sur des facteurs de risque actionnables identifiés. Alors que dans l'ère post-génétique, la prévention en médecine personnalisée se concentrera de plus en plus sur les facteurs non héréditaires et actionnables, nous pensons que ces approches seront déterminantes pour façonner les futurs paradigmes de la santé<br>From conception onward, environmental factors such as air quality or dietary habits can significantly impact the risk of developing various chronic diseases. Within the epidemiological literature, indicators known as Environmental Risk Scores (ERSs) are used not only to identify individuals at risk but also to study the relationships between environmental factors and health. A limit of most ERSs is that they are expressed as linear combinations of a limited number of factors. This doctoral thesis aims to develop ERS indicators able to investigate nonlinear relationships and interactions across a broad range of exposures while discovering actionable factors to guide preventive measures and interventions, both in adults and children. To achieve this aim, we leverage the predictive abilities of non-parametric machine learning methods, combined with recent Explainable AI tools and existing domain knowledge. In the first part of this thesis, we compute machine learning-based environmental risk scores for mental, cardiometabolic, and respiratory general health for children. On top of identifying nonlinear relationships and exposure-exposure interactions, we identified new predictors of disease in childhood. The scores could explain a significant proportion of variance and their performances were stable across different cohorts. In the second part, we propose SEANN, a new approach integrating expert knowledge in the form of Pooled Effect Sizes (PESs) into the training of deep neural networks for the computation of extit{informed environmental risk scores}. SEANN aims to compute more robust ERSs, generalizable to a broader population, and able to capture exposure relationships that are closer to evidence known from the literature. We experimentally illustrate the approach's benefits using synthetic data, showing improved prediction generalizability in noisy contexts (i.e., observational settings) and improved reliability of interpretation using Explainable Artificial Intelligence (XAI) methods compared to an agnostic neural network. In the last part of this thesis, we propose a concrete application for SEANN using data from a cohort of Spanish adults. Compared to an agnostic neural network-based ERS, the score obtained with SEANN effectively captures relationships more in line with the literature-based associations without deteriorating the predictive performances. Moreover, exposures with poor literature coverage significantly differ from those obtained with the agnostic baseline method with more plausible directions of associations.In conclusion, our risk scores demonstrate substantial potential for the data-driven discovery of unknown nonlinear environmental health relationships by leveraging existing knowledge about well-known relationships. Beyond their utility in epidemiological research, our risk indicators are able to capture holistic individual-level non-hereditary risk associations that can inform practitioners about actionable factors in high-risk individuals. As in the post-genetic era, personalized medicine prevention will focus more and more on modifiable factors, we believe that such approaches will be instrumental in shaping future healthcare paradigms

L'apprentissage automatique est le domaine des sciences informatiques dont le but est de créer des modèles et des solutions à partir de données sans savoir exactement les instructions qui dirigent intrinsèquement ces modèles. Ce domaine a obtenu des résultats impressionnants mais il est l'objet le sujet d'inquiétudes en raison notamment de l'impossibilité de comprendre et d'auditer les modèles qu'il produit. L'apprentissage automatique interprétable propose une solution à ces inquiétudes en créant des modèles qui sont interprétables de façon inhérante. Cette thèse contribue à l'apprentissage automatique interprétable de deux façons.Tout d'abord, nous étudions les arbres de décision. Il s'agit d'un groupe de méthodes d'apprentissage automatique très connu et qui est interprétable par la façon même dont il est conçu. Cependant, les données réelles sont souvent dynamiques et peu d'algorithmes existent pour maintenir un arbre de décision quand des données peuvent à la fois être ajoutées et supprimées de l'ensemble d'entrainement. Nous proposons un nouvel algorithme nommé FuDyADT pour résoudre ce problème.Ensuite, quand les données sont représentées sous forme de graphe, une technique d'apprentissage automatique très commune, nommée "embedding", consiste à projeter les données sur un espace vectoriel. Ce type de méthodes est cependant non-interprétable en général. Nous proposons un nouvel algorithme d'embedding appelé Parfaite, qui est basé sur la factorisation de la matrice de PageRank personnalisé. Cet algorithme est conçu pour que ses résultats soient interprétables.Nous étudions chacun de ces algorithmes sur un plan à la fois théorique et expérimental. Nous montrons que FuDyADT est au minimum comparable aux algorithmes à l'état de l'art dans les conditions habituelles, tout en étant également capable de fonctionner dans des contextes inhabituels comme dans le cas où des données sont supprimés ou dans le cas où certaines des données sont numériques. Quant à Parfaite, il produit des dimensions d'embedding qui sont alignées avec les communautés du graphe, et qui sont donc interprétables<br>Machine Learning is the field of computer science that interests in building models and solutions from data without knowing exactly the set of instructions internal to these models and solutions. This field has achieved great results but is now under scrutiny for the inability to understand or audit its models among other concerns. Interpretable Machine Learning addresses these concerns by building models that are inherently interpretable. This thesis contributes to Interpretable Machine Learning in two ways.First, we study Decision Trees. This is a very popular group of Machine Learning methods for classification problems and it is interpretable by design. However, real world data is often dynamic, but few algorithms can maintain a decision tree when data can be both inserted and deleted from the training set. We propose a new algorithm called FuDyADT to solve this problem.Second, when data are represented as graphs, a very common machine learning technique called "embedding" consists in projecting them onto a vectorial space. This kind of method however is usually not interpretable. We propose a new embedding algorithm called Parfaite based on the factorization of the Personalized PageRank matrix. This algorithm is designed to provide interpretable results.We study both algorithms theoretically and experimentally. We show that FuDyADT is at least comparable to state-of-the-art algorithms in the usual setting, while also being able to handle unusual settings such as deletions of data and numerical features. Parfaite on the other hand produces embedding dimensions that align with the communities of the graph, making the embedding interpretable

Les technologies du numérique et de l'Intelligence Artificielle (IA) sont amenées à jouer un rôle essentiel dans tous les domaines de la société de demain pour améliorer le fonctionnement de la ville et la qualité de vie de ses habitants, tout en diminuant l'impact environnemental et la facture énergétique globale. Pour atteindre ses objectifs, il est nécessaire de penser les modes de complémentarité entre l'Humain et les systèmes intelligents. En effet, l'IA contribuera à rendre les villes intelligentes et sera vue comme un facteur d'amélioration de la qualité de vie, qui si elle est comprise et acceptée par les citoyens. Ce futur environnement urbain numérique ne peut alors se résumer à un réseau interconnecté de boîtes noires, mais doit tendre vers un réseau intelligent explicable, éthique et centré sur l'Humain. Ce chapitre se place dans ce contexte et propose des pistes de réflexion sur les enjeux numériques et sociétaux de la future ville intelligente.