Literatura científica selecionada sobre o tema "Modèles transformeurs"

La rénovation urbaine concrétise depuis une dizaine d’années l’ambition de transformer les quartiers d’habitat social avec de nouvelles modalités d’intervention. Elle vise la production de formes architecturales et urbaines moins denses, pour accueillir des ménages aux profils socio professionnels diversifiés et assurer la mixité sociale dans les quartiers concernés. En rupture avec la politique de la ville, les objectifs nationaux fixés par l’État doivent néanmoins tenir compte suivant les villes et les quartiers d’une participation habitante des configurations d’acteurs (élus, société civile, bailleurs de logements) qui interprètent différemment la fabrique de la ville et le sens de la mixité. S’appuyant sur l’exemple de Perpignan, ce texte vise à éclairer, comment le modèle français de l’intervention publique dans les grands ensembles d’habitat social reste confronté à une fabrique urbaine fragile, qui hésite encore les modèles de gouvernance et la participation habitante dans les politiques urbaines.

Cet article prolonge les réflexions sur le travail de captation des consommateurs en appliquant les outils analytiques de la sociologie des marchés à un facteur de production – les machines – au cœur de l’intensification des modèles productifs agricoles. Nous décrivons l’effort organisationnel déployé par les constructeurs de machines pour transformer le modèle économique des concessionnaires en en faisant des prestataires de services. La notion d’industrialisation du renouvellement souligne que le travail de reproduction de la transaction marchande opéré par le concessionnaire s’aligne sur l’intérêt des industriels. Ces derniers programment l’obsolescence des machines, moins en fonction de leur durabilité technique qu’en cherchant à ajuster en permanence les cycles d’usage des matériels aux capacités d’investissement des agriculteurs. Prêter attention au rythme des investissements permet ainsi de relativiser les vertus environnementales du processus de servicialisation des biens de consommation et de production, qui vise moins à rationaliser les usages qu’à assurer un renouvellement accéléré de la demande.

AbstractAujourd'hui l'étude du multiple, de la variabilité et l'hétérogène va de soi dans les recherches sur l'évolution des langues et le changement linguistique. Corrélativement, des modèles évolutionnistes ont été proposés (cf. Lass 1997, Croft 2000, Mufwene 2001, etc.) ce qui suppose d'engager une réflexion sur leur pouvoir de description et leur degré d'adéquation aux phénomènes. Je m'intéresse ainsi aux 'modélisations métaphoriques' parce qu'elles témoignent de changements importants dans notre perception de la dynamique des langues, et parce que chaque fois qu'on envisage d'exporter un modèle se pose la question cruciale de savoir ce qu'on modélise dans le transfert. Un modèle néo-darwinien va introduire de nouveaux questionnements et conduira à précontraindre et à transformer les problématiques linguistiques. Il importe donc de s'intéresser au risque de surmodélisation qu'il est susceptible d'introduire : cela demande de s'interroger sur certains aspects fondamentaux et nécessaires à l'élaboration du linguistique (variabilité dans les langues, sémiotisation des formes) mais aussi sur la place des 'acteurs' dans les procès de communication.En considérant ces aspects on atteint l'interface où, activement, les acteurs construisent de l'unitaire à partir du variable, de l'hétérogène et du multiple, dans l'espace anthropo-linguistique dont ils sont partie prenante ; ce qui ne veut pas dire que cela résulte d'un procès délibéré. Cette construction se matérialise à travers diverses modalités de saisie des phénomènes. J'en présenterai trois (linéarisation, massification et Gestalt) qui illustrent 'l'activisme' des acteurs dans les dynamiques de l'élaboration de leurs langues.

La paix est l’essence même du projet européen. Elle puise à de profondes racines : la paix romaine, la paix chrétienne. Elle reste un objectif et un principe, après deux guerres mondiales dévastatrices. Ce qu’enseigne l’histoire européenne, c’est l’art de transformer la pluralité et la rivalité des États en une coexistence parfois difficile, mais féconde, au service du bien commun .

Résumé Résumé : Les changements dans les modèles entrepreneur iaux de gestion de la main-ď oeuvre en Espagne ont entraîné une rapide augmentation de la demande de personnel technique diplômé, qui a bouleversé la situation traditionnelle des ingénieurs dans les entreprises. Dans le même temps où se renforce la culture technique dans les firmes espagnoles, la culture des entreprises est en train de se transformer en une culture managéniale commerciale et financière .

Depuis quelques années fleurissent une multitude d’initiatives digitales médicales qui affichent de tangibles signaux d’efficacité. Elles placent souvent le patient au cœur de leur approche et s’affranchissent, tout au moins conceptuellement, des silos entre les grands acteurs de la santé (industrie pharmaceutique, autorités de santé, hôpital, payeurs).Il en découle une fragilité structurelle susceptible de constituer un terreau favorable à l’arrivée d’acteurs issus du monde numérique, des « pure players », capables de repenser et de transformer radicalement les modèles économiques en proposant des alternatives digitales de rupture centrées sur les besoins des patients.

Entamée il y a une vingtaine d’années, la révolution numérique n’a pas fait que transformer la pratique du projet. Elle a entraîné une série d’évolutions des structures de la profession d’architecte. La taille des agences a considérablement augmenté dans certains pays, en même temps que se multipliaient les intervenants et les collaborations au sein d’un processus de projet de plus en plus fortement déterminé par les logiciels disponibles et la mise en circulation de modèles numériques. Dans ce contexte, on assiste à une montée en puissance des questions de propriété intellectuelle sur lesquelles on s’interrogera.

Confrontée à la nécessité de pacifier le climat social, de trouver les voies et moyens d’une gestion robuste d’effectifs importants, de répondre à un souci d’égalitarisme poussé et à la volonté d’adopter la règle du «mieux disant, la DGFiP a été amenée à reproduire un «modèle» RH caractérisé par une forte centralisation et une approche très administrative. Elle est en train de transformer son «modèle RH» pour rebâtir une gestion RH plus transparente, plus ouverte, davantage tournée vers l’humain et plus responsabilisante avec l’ambition de faire de la gestion des ressources humaines un facilitateur, capable de fonder un «pacte social» empreint de confiance et de responsabilité.

L'ère du numérique génère des quantités énormes de données non structurées telles que des images et des documents, nécessitant des méthodes de traitement spécifiques pour en tirer de la valeur. Les données textuelles présentent une difficulté supplémentaire car elles ne contiennent pas de valeurs numériques. Les plongements de mots sont des techniques permettant de transformer automatiquement du texte en données numériques, qui permettent aux algorithmes d'apprentissage automatique de les traiter. Les tâches non-supervisées sont un enjeu majeur dans l'industrie car elles permettent de créer de la valeur à partir de grandes quantités de données sans nécessiter une labellisation manuelle coûteuse. Cette thèse explore l'utilisation des modèles Transformeurs pour les tâches non-supervisées telles que la classification automatique, la détection d'anomalies et la visualisation de données. Elle propose également des méthodologies pour exploiter au mieux les modèles Transformeurs multicouches dans un contexte non-supervisé pour améliorer la qualité et la robustesse du clustering de documents tout en s'affranchissant du choix de la couche à utiliser et du nombre de classes. En outre, la thèse examine les méthodes de transfert d'apprentissage pour améliorer la qualité des modèles Transformeurs pré-entraînés sur une autre tâche en les utilisant pour la tâche de clustering. Par ailleurs, nous investiguons plus profondément dans cette thèse les modèles de langage "Transformers" et leur application au clustering en examinant en particulier les méthodes de transfert d'apprentissage qui consistent à réapprendre des modèles pré-entraînés sur une tâche différente afin d'améliorer leur qualité pour de futures tâches. Nous démontrons par une étude empirique que les méthodes de post-traitement basées sur la réduction de dimension sont plus avantageuses que les stratégies de réapprentissage proposées dans la littérature pour le clustering. Enfin, nous proposons un nouveau cadre de détection d'anomalies textuelles en français adapté à deux cas : celui où les données concernent une thématique précise et celui où les données ont plusieurs sous-thématiques. Dans les deux cas, nous obtenons des résultats supérieurs à l'état de l'art avec un temps de calcul nettement inférieur
The digital era generates enormous amounts of unstructured data such as images and documents, requiring specific processing methods to extract value from them. Textual data presents an additional challenge as it does not contain numerical values. Word embeddings are techniques that transform text into numerical data, enabling machine learning algorithms to process them. Unsupervised tasks are a major challenge in the industry as they allow value creation from large amounts of data without requiring costly manual labeling. In thesis we explore the use of Transformer models for unsupervised tasks such as clustering, anomaly detection, and data visualization. We also propose methodologies to better exploit multi-layer Transformer models in an unsupervised context to improve the quality and robustness of document clustering while avoiding the choice of which layer to use and the number of classes. Additionally, we investigate more deeply Transformer language models and their application to clustering, examining in particular transfer learning methods that involve fine-tuning pre-trained models on a different task to improve their quality for future tasks. We demonstrate through an empirical study that post-processing methods based on dimensionality reduction are more advantageous than fine-tuning strategies proposed in the literature. Finally, we propose a framework for detecting text anomalies in French adapted to two cases: one where the data concerns a specific topic and the other where the data has multiple sub-topics. In both cases, we obtain superior results to the state of the art with significantly lower computation time

Les composants magnétiques sont des constituants essentiels des convertisseurs électroniques de puissance en termes de volume et de coût, en particulier dans les alimentations à découpage. Pour cette raison, il est intéressant de développer des méthodes et des outils logiciels pour optimiser la conception de dispositif magnétiques en relation avec les paramètres de conversion. Concevoir et optimiser un composant magnétique suppose de définir parfaitement les contraintes induites par les spécifications, de choisir des conducteurs, isolants et circuits magnétiques, tant sur le plan des matériaux que des géométries, de calculer finement les pertes dans ces différentes parties et enfin, de disposer de modèles thermiques permettant de conduire le design en considérant la contrainte majeure que constituent les températures de fonctionnement des différentes parties du composant. L'objectif de cette thèse est de jeter les bases d'un outil générique d'aide à la conception optimale de composants magnétiques en s'appuyant sur des modélisations analytiques et numériques
The magnetic components are essential constituents of the power electronic converters in terms of volume and cost, particularly in switching power supplies. Therefore, it is essential to develop methods and software tools that can optimize the magnetic device design in relation to the conversion parameters. The design and optimization of the magnetic component includes several constraints that are imposed by the specifications including the choice of electrical conductors and magnetic circuits, both in terms of materials and their geometries. It is necessary to calculate the losses in these parts and to know the thermal models that allows a better design by considering the major constraint namely, the operation temperatures of different parts of the component.The current work describes the basics of a generic tool that will help in the optimal design of a magnetic components based on both analytical and numerical modeling

Les travaux présentés dans cette thèse s'inscrivent dans le cadre de l'analyse et la modélisation de la distribution du champ magnétique dans les machines électriques à circuit magnétique feuilleté avec des tôles à grains orientés. L'anisotropie des tôles magnétiques des transformateurs induit des phénomènes 3D complexes au niveau des joints magnétiques où les tôles se chevauchent. Concernant l'augmentation de l'efficacité énergétique des machines tournantes, de nouvelles structures à base de tôles à grains orientés font leur apparition. Néanmoins, simuler finement en 3D un paquet de tôles minces recouvertes d'un isolant de quelques microns d'épaisseur conduit à des temps de calculs très importants.Dans cette optique, nous présentons une méthode d'homogénéisation dont le but est de définir les caractéristiques magnétiques équivalentes d'un empilement quelconque de tôles et d'entrefers. Sa formulation est basée sur la minimisation de l'énergie et la conservation du flux magnétique. Les résultats de cette méthode appliquée à un joint magnétique de transformateur à joints step-lap sont confrontés à des mesures expérimentales et à un modèle élément fini 3D. Ce dernier requiert de connaître les caractéristiques magnétiques des tôles dans les directions de laminage, transverse et normale. La détermination de la perméabilité des tôles dans la direction normale est problématique et constitue un point original de notre étude. Deux méthodes, analytique et numérique, s'appuient sur les mesuresd'un banc de caractérisation en régime statique pour déterminer cette perméabilité normale
This thesis focuses on the analysis and the modeling the magnetic flux distribution in electrical machines with anisotropic laminated magnetic circuit. The anisotropy of magnetic sheets in transformers induces complex 3D phenomena in step-lap magnetic joints where the sheets are overlapped. Moreover, in order to increase the energy efficiency of rotating machines, new structures based on grain-oriented electrical steel are developed.However, an accurate 3D simulation of a laminated core with thin sheets and insulation of a few microns leads to very large computation time. In this context, we present a homogenization method, which purpose is to define the equivalent magnetic characteristics of any laminated core made of sheets and air gaps. Its formulation is based on the energy minimization and the magnetic flux conservation. The results of this method applied to a step-lap magnetic joint are compared with experimental measurements and a 3D finite element model. The latter requires to know the magnetic characteristics of the sheets in the rolling, transverse and normal directions. The determination of the sheets permeability in the normal direction is problematic and it constitutes an original point of our study.Two methods, analytical and numerical, based on measurements obtained with a static characterization bench makes possible the determination of the normale permeability

Les travaux présentés dans ce document s’inscrivent dans un projet (dBET : diminution des Bruits Electriques de Trains) qui vise une meilleure compréhension des phénomènes vibratoires (indirectement le bruit) d’origine électromagnétique des dispositifs électrotechniques (transformateurs, inductances, moteurs électriques) des trains. Ce projet met en collaboration plusieurs laboratoires (le laboratoire Roberval et électromécanique de l’université de technologie de Compiègne...) et industriels parmi lesquels Alstom Transport, ESI Group… Notre contribution, dans ce projet, consiste en la proposition d’un modèle pertinent permettant de prédire la déformation magnétostrictive, considérée comme l’une des causes des bruits d’origine électromagnétique des dispositifs électrotechniques. Un processus d’identification des paramètres du modèle, à partir de données expérimentales, est présenté ainsi que l’application du modèle à un dispositif expérimental grâce à l’utilisation des éléments finis. Les résultats du modèle seront confrontés aux mesures faites à l’échelle d’une tôle ferromagnétique et d’un dispositif expérimental constitué d’un ensemble de tôles
The work presented in this document is part of a project (dBET : diminution des Bruits Electriques de Trains) which aims a better understanding of electromagnetic-origin vibration phenomena (indirectly noise) from electrical devices (transformers, inductors, motors) in trains. This project results from the collaboration of several laboratories and companies including Alstom, ESI Group.... Our contribution in this project consists in building a relevant model to predict the magnetostrictive strain, considered as one of the causes of electromagnetic-origin noise of electrical devices. A process of identification of the model parameters from experimental data is presented. The model is used to compute the magnetostrictive strain of a test bench thanks to finite elements method. Model results will be compared with measurements about ferromagnetic single sheet and the test bench which is a stack of ferromagnetic sheets

Au cours des dernières décennies, les modèles de langage (MLs) ont atteint des performances équivalentes à celles de l'homme sur plusieurs tâches. Ces modèles peuvent générer des représentations vectorielles qui capturent diverses propriétés linguistiques des mots d'un texte, telles que la sémantique ou la syntaxe. Les neuroscientifiques ont donc mis à profit ces progrès et ont commencé à utiliser ces modèles pour explorer les bases neurales de la compréhension du langage. Plus précisément, les représentations des ML calculées à partir d'une histoire sont utilisées pour modéliser les données cérébrales d'humains écoutant la même histoire, ce qui permet l'examen de plusieurs niveaux de traitement du langage dans le cerveau. Si les représentations du ML s'alignent étroitement avec une région cérébrale, il est probable que le modèle et la région codent la même information. En utilisant les données cérébrales d'IRMf de participants américains écoutant l'histoire du Petit Prince, cette thèse 1) examine les facteurs influant l'alignement entre les représentations des MLs et celles du cerveau, ainsi que 2) les limites de telles alignements. La comparaison de plusieurs MLs pré-entraînés et personnalisés (GloVe, LSTM, GPT-2 et BERT) a révélé que les Transformers s'alignent mieux aux données d'IRMf que LSTM et GloVe. Cependant, aucun d'entre eux n'est capable d'expliquer tout le signal IRMf, suggérant des limites liées au paradigme d'encodage ou aux MLs. En étudiant l'architecture des Transformers, nous avons constaté qu'aucune région cérébrale n'est mieux expliquée par une couche ou une tête d'attention spécifique. Nos résultats montrent que la nature et la quantité de données d'entraînement affectent l'alignement. Ainsi, les modèles pré-entraînés sur de petits ensembles de données ne sont pas efficaces pour capturer les activations cérébrales. Nous avons aussi montré que l'entraînement des MLs influence leur capacité à s'aligner aux données IRMf et que la perplexité n'est pas un bon prédicteur de leur capacité à s'aligner. Cependant, entraîner les MLs améliore particulièrement leur performance d'alignement dans les régions coeur de la sémantique, indépendamment de l'architecture et des données d'entraînement. Nous avons également montré que les représentations du cerveau et des MLs convergent d'abord pendant l'entraînement du modèle avant de diverger l'une de l'autre. Cette thèse examine en outre les bases neurales de la syntaxe, de la sémantique et de la sensibilité au contexte en développant une méthode qui peut sonder des dimensions linguistiques spécifiques. Cette méthode utilise des MLs restreints en information, c'est-à-dire des architectures entraînées sur des espaces de représentations contenant un type spécifique d'information. Tout d'abord, l'entraînement de MLs sur des représentations sémantiques et syntaxiques a révélé un bon alignement dans la plupart du cortex mais avec des degrés relatifs variables. La quantification de cette sensibilité relative à la syntaxe et à la sémantique a montré que les régions cérébrales les plus sensibles à la syntaxe sont plus localisées, contrairement au traitement de la sémantique qui reste largement distribué dans le cortex. Une découverte notable de cette thèse est que l'étendue des régions cérébrales sensibles à la syntaxe et à la sémantique est similaire dans les deux hémisphères. Cependant, l'hémisphère gauche a une plus grande tendance à distinguer le traitement syntaxique et sémantique par rapport à l'hémisphère droit. Dans un dernier ensemble d'expériences, nous avons conçu une méthode qui contrôle les mécanismes d'attention dans les Transformers afin de générer des représentations qui utilisent un contexte de taille fixe. Cette approche fournit des preuves de la sensibilité au contexte dans la plupart du cortex. De plus, cette analyse a révélé que les hémisphères gauche et droit avaient tendance à traiter respectivement des informations contextuelles plus courtes et plus longues
In the last decades, language models (LMs) have reached human level performance on several tasks. They can generate rich representations (features) that capture various linguistic properties such has semantics or syntax. Following these improvements, neuroscientists have increasingly used them to explore the neural bases of language comprehension. Specifically, LM's features computed from a story are used to fit the brain data of humans listening to the same story, allowing the examination of multiple levels of language processing in the brain. If LM's features closely align with a specific brain region, then it suggests that both the model and the region are encoding the same information. LM-brain comparisons can then teach us about language processing in the brain. Using the fMRI brain data of fifty US participants listening to "The Little Prince" story, this thesis 1) investigates the reasons why LMs' features fit brain activity and 2) examines the limitations of such comparisons. The comparison of several pre-trained and custom-trained LMs (GloVe, LSTM, GPT-2 and BERT) revealed that Transformers better fit fMRI brain data than LSTM and GloVe. Yet, none are able to explain all the fMRI signal, suggesting either limitations related to the encoding paradigm or to the LMs. Focusing specifically on Transformers, we found that no brain region is better fitted by specific attentional head or layer. Our results caution that the nature and the amount of training data greatly affects the outcome, indicating that using off-the-shelf models trained on small datasets is not effective in capturing brain activations. We showed that LMs' training influences their ability to fit fMRI brain data, and that perplexity was not a good predictor of brain score. Still, training LMs particularly improves their fitting performance in core semantic regions, irrespective of the architecture and training data. Moreover, we showed a partial convergence between brain's and LM's representations.Specifically, they first converge during model training before diverging from one another. This thesis further investigates the neural bases of syntax, semantics and context-sensitivity by developing a method that can probe specific linguistic dimensions. This method makes use of "information-restricted LMs", that are customized LMs architectures trained on feature spaces containing a specific type of information, in order to fit brain data. First, training LMs on semantic and syntactic features revealed a good fitting performance in a widespread network, albeit with varying relative degrees. The quantification of this relative sensitivity to syntax and semantics showed that brain regions most attuned to syntax tend to be more localized, while semantic processing remain widely distributed over the cortex. One notable finding from this analysis was that the extent of semantic and syntactic sensitive brain regions was similar across hemispheres. However, the left hemisphere had a greater tendency to distinguish between syntactic and semantic processing compared to the right hemisphere. In a last set of experiments we designed "masked-attention generation", a method that controls the attention mechanisms in transformers, in order to generate latent representations that leverage fixed-size context. This approach provides evidence of context-sensitivity across most of the cortex. Moreover, this analysis found that the left and right hemispheres tend to process shorter and longer contextual information respectively

Au sortir de l'époque maoïste, le Parti communiste chinois a cherché à s’appuyer sur une bureaucratie plus compétente pour réussir le développement économique dans un contexte de stabilité politique. Les réformes ont concerné le recrutement, la gestion et l'organisation d’encadrement des fonctionnaires, mais aussi leur formation, dans l’objectif de renforcer leurs compétences. L'introduction en 1999 du Master in Public Administration (MPA) en milieu universitaire valorise la scientificité du savoir administratif, sans abandonner les dispositifs et les critères de sélection préexistants. À la lumière d’une mise en perspective historique, de l’analyse de la circulation transnationale de modèle éducatif et de l’étude de la modernisation de la bureaucratie, le MPA se révèle être l’instrument d’une double transformation, celle de l’enseignement supérieur et celle de l’administration chinoise contemporaine. Le MPA accompagne et rend possible la modernisation du pays, en permettant à l’enseignement supérieur d’introduire de nouvelles pratiques, à l'État-Parti de réformer l’administration sans rupture et aux agents du secteur public d’acquérir des ressources valorisables, quel que soit le scénario de transformation
Changing nothing to change everything: innovation and continuity in the reforms of Chinese administrative training — At the end of the Maoist era, the Communist Party of China (CPC) attempted to create a more highly‑skilled bureaucracy to achieve economic development in a stable political context. Reforms concerned not just recruitment, management and civil service organization, but also the training of officials in order to improve their skills. The introduction of the Master of Public Administration (MPA) in 1999 enhanced the scientific character of administrative knowledge while pre‑existing selective mechanisms were retained. The MPA supports the country’s modernization by enabling the State‑Party to undertake continuous reform of public administration. It allows as well the emergence of a new ethos and a community of vision among the new generation of civil servants, whose competences are adjustable to several possible political scenarios

La conception des machines électriques a une longue tradition et l'approche " business as usual " est un processus itératif d'essais et d'erreur, certes convergent mais nécessairement stoppé prématurément, car trop couteux. Un perfectionnement récent a consisté à remplacer les prototypes et les maquettes par des prototypes virtuels, entièrement numériques, comme ceux fournis par la méthode des éléments finis. Néanmoins, le procédé s'arrête toujours sur une frustration car le concepteur n'est jamais sûr d'avoir exploré complètement l'espace de conception qui s'offre à lui. La démarche de conception optimale se propose d'améliorer ce processus en le guidant, c'est-à-dire en proposant une méthodologie, et en l'automatisant, c'est-à-dire en proposant des outils logiciels. Mais dans cette démarche apparaissent de nombreuses difficultés. Ainsi, les objectifs généraux de cette thèse sont multiples. Il s'agit de définir des problèmes d'optimisation spécifiques représentatifs des choix structurels et d'élaborer des benchmarks de référence : discret, multiphysique, multidisciplinaire, multi-objectif et multi-niveaux. Ensuite, il faut rechercher, adapter et qualifier les méthodes d'optimisation les mieux à même de résoudre ces problèmes. Enfin, les différentes méthodes d'optimisation proposées sont implantées et testées de façon à prouver leur efficacité et leur adaptation. Un objectif secondaire mais important est de les capitaliser et diffuser les connaissances élaborées

Méthode de résolution des équations du système modélisé, indépendante de son environnement électrique, donnant un programme modulaire, utilisable dans un ensemble plus complexe. Extension de la méthode et procédure d'identification des paramètres. Expérimentation en fonctionnement redresseur et gradateur

Chaque jour, les entreprises du monde entier reçoivent et traitent d'énormes volumes de documents, entraînant des coûts considérables. Pour réduire ces coûts, de grandes entreprises automatisent le traitement documentaire, visant une automatisation complète. Cette thèse se concentre sur l'utilisation de modèles d'apprentissage machine pour extraire des informations de documents. Les progrès récents en matière d'architecture de modèle, en particulier les transformeurs, ont révolutionné le domaine grâce à leur utilisation généralisée de l'attention et à l'amélioration des pré-entraînements auto-supervisés. Nous montrons que les transformeurs, pré-entraînés sur des documents, effectuent des tâches de compréhension de documents avec précision et surpassent les modèles à base de réseaux récurrents pour l'extraction d'informations par classification de mots. Les transformeurs nécessitent également moins de données d'entraînement pour atteindre des performances élevées, soulignant l'importance du pré-entraînement auto-supervisé. Dans la suite, nous introduisons des tâches de pré-entraînement spécifiquement adaptées aux documents d'entreprise, améliorant les performances même avec des modèles plus petits. Cela permet d'atteindre des niveaux de performance similaires à ceux de modèles plus gros, ouvrant la voie à des modèles plus petits et plus économiques. Enfin, nous abordons le défi du coût d'évaluation des transformeurs sur de longues séquences. Nous montrons que des architectures plus efficaces dérivées des transformeurs nécessitent moins de ressources et donnent de meilleurs résultats sur de longues séquences. Cependant, elles peuvent perdre légèrement en performance sur de courtes séquences par rapport aux transformeurs classiques. Cela suggère l'avantage d'utiliser plusieurs modèles en fonction de la longueur des séquences à traiter, ouvrant la possibilité de concaténer des séquences de différentes modalités
Every day, an uncountable amount of documents are received and processed by companies worldwide. In an effort to reduce the cost of processing each document, the largest companies have resorted to document automation technologies. In an ideal world, a document can be automatically processed without any human intervention: its content is read, and information is extracted and forwarded to the relevant service. The state-of-the-art techniques have quickly evolved in the last decades, from rule-based algorithms to statistical models. This thesis focuses on machine learning models for document information extraction. Recent advances in model architecture for natural language processing have shown the importance of the attention mechanism. Transformers have revolutionized the field by generalizing the use of attention and by pushing self-supervised pre-training to the next level. In the first part, we confirm that transformers with appropriate pre-training were able to perform document understanding tasks with high performance. We show that, when used as a token classifier for information extraction, transformers are able to exceptionally efficiently learn the task compared to recurrent networks. Transformers only need a small proportion of the training data to reach close to maximum performance. This highlights the importance of self-supervised pre-training for future fine-tuning. In the following part, we design specialized pre-training tasks, to better prepare the model for specific data distributions such as business documents. By acknowledging the specificities of business documents such as their table structure and their over-representation of numeric figures, we are able to target specific skills useful for the model in its future tasks. We show that those new tasks improve the model's downstream performances, even with small models. Using this pre-training approach, we are able to reach the performances of significantly bigger models without any additional cost during finetuning or inference. Finally, in the last part, we address one drawback of the transformer architecture which is its computational cost when used on long sequences. We show that efficient architectures derived from the classic transformer require fewer resources and perform better on long sequences. However, due to how they approximate the attention computation, efficient models suffer from a small but significant performance drop on short sequences compared to classical architectures. This incentivizes the use of different models depending on the input length and enables concatenating multimodal inputs into a single sequence

En tant qu’animaux sociaux, les humains communiquent entre eux en se transmettant divers types d’information sur le monde et sur eux-mêmes. Au cœur de ce processus, la voix permet la transmission de messages linguistiques dénotant un sens strict qui peut être décodé par l’interlocuteur. En transmettant d’autres informations telles que des attitudes ou des émotions qui connotent le sens strict, la voix enrichit et facilite le processus de communication. Au cours des dernières décennies, l’importance des technologies numériques dans nos vies n’a cessé de croître. Dans de nombreuses situations quotidiennes, nous délaissons les claviers, les souris et même les écrans tactiles au profit d’interactions avec des assistants vocaux ou même des agents virtuels qui permettent de communiquer avec les machines comme on le fait avec nos congénères. Avec l’émergence d’un monde hybride où coexistent réalités physique et virtuelle, il devient crucial de permettre aux machines de capter, d’interpréter et de reproduire les émotions et les attitudes véhiculées par la voix humaine. Cette recherche se concentre sur les attitudes sociales de la parole, qui peuvent être définies dans un contexte d’interaction comme des dispositions vocales envers les autres, et vise à développer des algorithmes pour leur conversion. Pour atteindre cet objectif, des données - c’est-à-dire une collection d’enregistrements audio d’énoncés véhiculant diverses attitudes vocales - sont nécessaires. Cette recherche est donc construite à partir de cette étape initiale de collecte d’une matière première, à savoir un jeu de données dédié aux attitudes sociales de la parole. La conception d’algorithmes de conversion des attitudes vocales implique de comprendre ce qui les définit, à la fois en termes de production - comment les individus utilisent-ils leur appareil vocal pour produire des attitudes ? - et de perception - comment décodent-ils ces attitudes dans la parole?. Nous avons donc mené deux études, une première mettant en évidence les stratégies de production des attitudes vocales et une seconde - basée sur une expérience de Best Worst Scaling (BWS) - mettant principalement en évidence les biais impliqués dans la perception de ces attitudes vocales, fournissant ainsi une double compréhension de la manière dont les attitudes vocales sont communiquées par les individus français. Ces résultats nous ont permis de motiver notre choix de représentation du signal vocal ainsi que nos choix d’architecture et d’optimisation pour la conception d’algorithmes de conversion des attitudes vocales. Afin d’étendre à l’ensemble de la base de données les connaissances sur la perception des attitudes vocales recueillies lors de cette seconde étude, nous avons travaillé à l’élaboration d’un BWS-Net permettant la détection des attitudes mal communiquées, fournissant ainsi des données propres pour l’apprentissage de la conversion. Afin d’apprendre à convertir les attitudes vocales, nous avons adopté une approche basée sur un réseau transformer dans un paradigme de conversion many-to-many utilisant le mel-spectrogramme comme représentation du signal de parole. Les premières expériences ayant révélé une perte d’intelligibilité dans les échantillons convertis, nous avons proposé un conditionnement linguistique de l’algorithme de conversion en lui incorporant un module de reconnaissance de parole. Des mesures objectives et subjectives ont montré que l’algorithme résultant obtient de meilleures performances que le transformer de référence aussi bien en termes d’intelligibilité et d’attitude véhiculée
As social animals, humans communicate with each other by transmitting various types of information about the world and about themselves. At the heart of this process, the voice allows the transmission of linguistic messages denoting a strict meaning that can be decoded by the interlocutor. By conveying other information such as attitudes or emotions that connote the strict meaning, the voice enriches and enhances the communication process. In the last few decades, the digital world has become an important part of our lives. In many everyday situations, we are moving away from keyboards, mice and even touch screens to interactions with voice assistants or even virtual agents that enable human-like communication with machines. In the emergence of a hybrid world where physical and virtual reality coexist, it becomes crucial to enable machines to capture, interpret, and replicate the emotions and attitudes conveyed by the human voice.This research focuses on speech social attitudes, which can be defined - in a context of interaction - as speech dispositions towards others and aims to develop algorithms for their conversion. Fulfilling this objective requires data, i.e. a collection of audio recordings of utterances conveying various vocal attitudes. This research is thus built out of this initial step in gathering raw material - a dataset dedicated to speech social attitudes. Designing such algorithms involves a thorough understanding of what these attitudes are both in terms of production - how do individuals use their vocal apparatus to produce attitudes? - and perception - how do they decode those attitudes in speech? We therefore conducted two studies, a first uncovering the production strategies of speech attitudes and a second - based on a Best Worst Scaling (BWS) experiment - mainly hinting at biases involved in the perception such vocal attitudes, thus providing a twofold account for how speech attitudes are communicated by French individuals. These findings were the basis for the choice of speech signal representation as well as the architectural and optimisation choices for the design of a speech attitude conversion algorithm. In order to extend the knowledge on the perception of vocal attitudes gathered during this second study to the whole database, we worked on the elaboration of a BWS-Net allowing the detection of mis-communicated attitudes, and thus provided clean data for conversion learning. In order to learn how to convert vocal attitudes, we adopted a transformer-based approach in a many-to-many conversion paradigm with mel-spectrogram as speech signal representation. Since early experiments revealed a loss of intelligibility in the converted utterances, we proposed a linguistic conditioning of the conversion algorithm through incorporation of a speech-to-text module. Both objective and subjective measures have shown the resulting algorithm achieves better performance than the baseline transformer both in terms of intelligibility and attitude conveyed

Ce chapitre appréhende la communication cartographique à travers les nouveaux modes de fabrique et d’usage des cartes à l’ère du géoweb. La réflexion met l’emphase sur les données spatiales en abordant les notions d’information géographique volontaire, de producteur consommateurs ou d’égocartographie qui viennent transformer les modèles classiques de communication cartographique.

Dans ce chapitre, le lecteur apprendra à analyser et modéliser de manière qualitative un système. Il verra comment transformer ce modèle descriptif en modèle quantitatif et en introduisant la variable « temps », il arrivera jusqu’à formaliser un jeu d’équations simulables. La simulation lui permettra de tester, de vérifier et de valider plusieurs scénarios de comportement de son système.

Cette étude porte sur une des innovations contemporaines liées à l’économie de la publication scientifique : les accords dits transformants, un objet relativement circonscrit au sein des relations entre consortiums de bibliothèques et éditeurs scientifiques, et temporellement situé entre 2015 et 2020. Ce type d’accords a pour objectif affiché d’organiser la transition du modèle traditionnel de l’abonnement à des revues (souvent proposées par regroupements thématiques ou collections) vers celui de l’accès ouvert en opérant une réaffectation des budgets qui y sont consacrés. Notre travail d’analyse sociologique constitue une première étude systématique de cet objet, fondée sur la recension de 197 accords. Le corpus ainsi constitué inclut des accords caractérisés par la coprésence d’une composante d’abonnement et d’une composante de publication en accès ouvert, même minimale (« jetons » de publication offerts, réduction sur les APC...). En conséquence, ont été exclus de l’analyse les accords portant uniquement sur du financement centralisé de publication en accès ouvert, que ce soit avec des éditeurs ne proposant que des revues avec paiement par l’auteur (PLOS, Frontiers, MDPI...) ou des éditeurs dont une partie du catalogue est constitué de revues en accès ouvert. L’accord le plus ancien de notre corpus a été signé en 2010, les plus récents en 2020 – les accords ne commençant qu’en 2021, même annoncés au cours de l’étude, n’ont pas été retenus. Plusieurs résultats se dégagent de notre analyse. Tout d’abord, on note une grande diversité des acteurs impliqués avec 22 pays et 39 éditeurs, même si certains consortiums (Pays-Bas, Suède, Autriche, Allemagne) et éditeurs (CUP, Elsevier, RSC, Springer) en ont signé beaucoup plus que d’autres. Ensuite, la durée des accords, comprise entre une et six années, révèle une distribution très inégalitaire, avec plus de la moitié des accords (103) signés pour 3 ans, ainsi qu’une faible proportion pour 4 ans ou plus (22 accords). Enfin, en dépit d’appels répétés à la transparence, moins de la moitié des accords (96) ont un texte accessible au moment de cette étude, sans qu’on puisse observer une tendance récente à une plus grande disponibilité. L’analyse montre également des degrés d’ouverture très variables, allant d’une simple information sur le répertoire ESAC en passant par la mise à disposition d’un format annotable jusqu’à l’attribution d’un DOI et d’une licence de réutilisation (CC-BY), en incluant le détail des sommes monétaires. Parmi les 96 accords disponibles, dont 47 signés en 2020, 62 ont fait l’objet d’une analyse en profondeur. C’est à notre connaissance la première analyse à cette échelle, sur un type de matériel non seulement inédit, mais qui était auparavant soumis à des clauses de confidentialité. Fondée sur une lecture minutieuse, l’étude décrit de manière fine leurs propriétés, depuis la matérialité du document jusqu’aux formules financières, en passant par leur morphologie et l’ensemble des droits et devoirs des parties. Les contenus des accords sont donc analysés comme une collection dont nous cherchons à déterminer les points communs et les variations, à travers des codages explicites sur certaines de leurs caractéristiques. L’étude pointe également des incertitudes, et notamment leur caractère « transitionnel », qui demeure fortement discuté. D’un point de vue morphologique, les accords montrent une grande diversité en matière de taille (de 7 à 488 pages) et de structure. Néanmoins, par définition, ils articulent tous deux objets essentiels : d’une part, les conditions de réalisation d’une lecture d’articles de revues, sous forme d’abonnement, mêlant des préoccupations d’accès et de sécurité ; d’autre part, les modalités de publication en accès ouvert, articulant la gestion d’un nouveau type de workflow à toute une série d’options possibles. Parmi ces options, mentionnons notamment le périmètre des revues considérées (hybrides et/ou accès ouvert), les licences disponibles, le degré d’obligation de cette publication, les auteurs éligibles ou le volume d’articles publiables. L’un des résultats les plus importants de cette analyse approfondie est la mise au jour d’un découplage presque complet, au sein même des accords, entre l’objet abonnement et l’objet publication. Bien entendu, l’abonnement est systématiquement configuré dans un monde fermé, soumis à paiement qui déclenche des séries d’identification des circulations légitimes tant du contenu informationnel que des usagers. Il insiste notamment sur les interdictions de réutilisation ou même de copie des articles scientifiques. À l’opposé, la publication en accès ouvert est attachée à un monde régi par l’accès gratuit au contenu, ce qui induit des préoccupations de gestion du workflow et des modalités d’accessibilité. De plus, les différents éléments constitutifs de ces objets contractuels ne sont pas couplés : d’un côté, les lecteurs sont constitués de l’ensemble des membres des institutions abonnées, de l’autre, seuls les auteurs correspondants (« corresponding authors ») sont concernés ; les listes de revues accessibles à la lecture et celles réservées à la publication en accès ouvert sont le plus souvent distinctes ; les workflows ont des objectifs et des organisations matérielles totalement différentes, etc. L’articulation entre les deux objets contractuels relève uniquement d’une formule de distribution financière qui, outre des combinaisons particulières entre l’un et l’autre, permet d’attribuer des étiquettes distinctes aux accords (offset agreement, publish & read, read & publish, read & free articles, read & discount). Au-delà de cette distribution, l’étude des arrangements financiers montre une gamme de dispositions allant d’une prévisibilité budgétaire totale, donc identique aux accords d’abonnement antérieurs, à une incertitude sur le volume de publication ou sur le montant définitif des sommes échangées. Les modalités concrètes de calcul des montants associés à la publication en accès ouvert sont relativement variées. S’il existe effectivement des formules récurrentes (volume d’articles multiplié par un prix individuel, reprise de la moyenne des sommes totales d’APC des années précédentes...), le calcul des sommes en jeu est toujours le résultat d’une négociation singulière entre un consortium et un éditeur scientifique, et aboutit parfois à des formules originales et complexes. À ce titre, l’espace des possibles en matière de formules financières n’est jamais totalement clos. Par ailleurs, la volonté des consortiums d’opérer une « transformation » de leurs accords vers la publication à coût constant renvoie à des définitions diversifiées du « coût » (inclusion ou non des dépenses d’APC préexistantes) et de la constance (admission ou pas d’une « inflation » à 2 ou 3%). De plus, nous n’avons observé aucune disposition contractuelle permettant d’anticiper les sommes en jeu au-delà de l’horizon temporel de l’accord courant. La grande diversité des accords provient d’une part des conditions initiales des relations entre consortiums et éditeurs scientifiques – les sommes dépensées en abonnement étant le point de départ des nouveaux accords –, d’autre part des objectifs de chaque partie. Même si cette étude excluait volontairement les négociations, les accords portent des traces de ces objectifs. Ainsi, de nombreux accords sont de nature explicitement expérimentale, quand certains visent un contrôle budgétaire strict, ou d’autres ambitionnent, dans la période plus récente, la publication du plus grand nombre possible d’articles en accès ouvert. C’est dans ce dernier cas qu’on touche à l’ambiguïté des attentes générales sur les accords transformants. En effet, pour les consortiums, la dimension « transformante » consiste essentiellement à transférer les sommes traditionnellement allouées à l’abonnement vers la publication en accès ouvert. Mais l’objectif n’est jamais de transformer le modèle économique des revues, c'est-à-dire de faire basculer des revues sous abonnement ou hybrides en revues entièrement en accès ouvert. D’ailleurs, aucune clause ne vise une telle fin – à l’exception du modèle d’accord proposé par l’éditeur ACM. Du côté des éditeurs, et notamment de Springer, le caractère cumulatif des accords nationaux passés vise à projeter un monde de la publication où l’accès ouvert devient de fait quantitativement très dominant, sans pour autant modifier de manière pérenne le modèle économique de leurs revues. Notre étude montre que les accords transformants actuels ne permettent pas d’assurer de manière durable une transition de l’économie de la publication vers l’accès ouvert, dans la mesure où ils n’offrent pas de garantie sur le contrôle des dépenses ni sur la pérennité de l’ouverture des contenus. L’avenir des relations entre consortium et éditeur demeure largement indéterminé.Cette étude porte sur une des innovations contemporaines liées à l’économie de la publication scientifique : les accords dits transformants, un objet relativement circonscrit au sein des relations entre consortiums de bibliothèques et éditeurs scientifiques, et temporellement situé entre 2015 et 2020. Ce type d’accords a pour objectif affiché d’organiser la transition du modèle traditionnel de l’abonnement à des revues (souvent proposées par regroupements thématiques ou collections) vers celui de l’accès ouvert en opérant une réaffectation des budgets qui y sont consacrés. Notre travail d’analyse sociologique constitue une première étude systématique de cet objet, fondée sur la recension de 197 accords. Le corpus ainsi constitué inclut des accords caractérisés par la coprésence d’une composante d’abonnement et d’une composante de publication en accès ouvert, même minimale (« jetons » de publication offerts, réduction sur les APC...). En conséquence, ont été exclus de l’analyse les accords portant uniquement sur du financement centralisé de publication en accès ouvert, que ce soit avec des éditeurs ne proposant que des revues avec paiement par l’auteur (PLOS, Frontiers, MDPI...) ou des éditeurs dont une partie du catalogue est constitué de revues en accès ouvert. L’accord le plus ancien de notre corpus a été signé en 2010, les plus récents en 2020 – les accords ne commençant qu’en 2021, même annoncés au cours de l’étude, n’ont pas été retenus. Plusieurs résultats se dégagent de notre analyse. Tout d’abord, on note une grande diversité des acteurs impliqués avec 22 pays et 39 éditeurs, même si certains consortiums (Pays-Bas, Suède, Autriche, Allemagne) et éditeurs (CUP, Elsevier, RSC, Springer) en ont signé beaucoup plus que d’autres. Ensuite, la durée des accords, comprise entre une et six années, révèle une distribution très inégalitaire, avec plus de la moitié des accords (103) signés pour 3 ans, ainsi qu’une faible proportion pour 4 ans ou plus (22 accords). Enfin, en dépit d’appels répétés à la transparence, moins de la moitié des accords (96) ont un texte accessible au moment de cette étude, sans qu’on puisse observer une tendance récente à une plus grande disponibilité. L’analyse montre également des degrés d’ouverture très variables, allant d’une simple information sur le répertoire ESAC en passant par la mise à disposition d’un format annotable jusqu’à l’attribution d’un DOI et d’une licence de réutilisation (CC-BY), en incluant le détail des sommes monétaires. Parmi les 96 accords disponibles, dont 47 signés en 2020, 62 ont fait l’objet d’une analyse en profondeur. C’est à notre connaissance la première analyse à cette échelle, sur un type de matériel non seulement inédit, mais qui était auparavant soumis à des clauses de confidentialité. Fondée sur une lecture minutieuse, l’étude décrit de manière fine leurs propriétés, depuis la matérialité du document jusqu’aux formules financières, en passant par leur morphologie et l’ensemble des droits et devoirs des parties. Les contenus des accords sont donc analysés comme une collection dont nous cherchons à déterminer les points communs et les variations, à travers des codages explicites sur certaines de leurs caractéristiques. L’étude pointe également des incertitudes, et notamment leur caractère « transitionnel », qui demeure fortement discuté. D’un point de vue morphologique, les accords montrent une grande diversité en matière de taille (de 7 à 488 pages) et de structure. Néanmoins, par définition, ils articulent tous deux objets essentiels : d’une part, les conditions de réalisation d’une lecture d’articles de revues, sous forme d’abonnement, mêlant des préoccupations d’accès et de sécurité ; d’autre part, les modalités de publication en accès ouvert, articulant la gestion d’un nouveau type de workflow à toute une série d’options possibles. Parmi ces options, mentionnons notamment le périmètre des revues considérées (hybrides et/ou accès ouvert), les licences disponibles, le degré d’obligation de cette publication, les auteurs éligibles ou le volume d’articles publiables. L’un des résultats les plus importants de cette analyse approfondie est la mise au jour d’un découplage presque complet, au sein même des accords, entre l’objet abonnement et l’objet publication. Bien entendu, l’abonnement est systématiquement configuré dans un monde fermé, soumis à paiement qui déclenche des séries d’identification des circulations légitimes tant du contenu informationnel que des usagers. Il insiste notamment sur les interdictions de réutilisation ou même de copie des articles scientifiques. À l’opposé, la publication en accès ouvert est attachée à un monde régi par l’accès gratuit au contenu, ce qui induit des préoccupations de gestion du workflow et des modalités d’accessibilité. De plus, les différents éléments constitutifs de ces objets contractuels ne sont pas couplés : d’un côté, les lecteurs sont constitués de l’ensemble des membres des institutions abonnées, de l’autre, seuls les auteurs correspondants (« corresponding authors ») sont concernés ; les listes de revues accessibles à la lecture et celles réservées à la publication en accès ouvert sont le plus souvent distinctes ; les workflows ont des objectifs et des organisations matérielles totalement différentes, etc. L’articulation entre les deux objets contractuels relève uniquement d’une formule de distribution financière qui, outre des combinaisons particulières entre l’un et l’autre, permet d’attribuer des étiquettes distinctes aux accords (offset agreement, publish & read, read & publish, read & free articles, read & discount). Au-delà de cette distribution, l’étude des arrangements financiers montre une gamme de dispositions allant d’une prévisibilité budgétaire totale, donc identique aux accords d’abonnement antérieurs, à une incertitude sur le volume de publication ou sur le montant définitif des sommes échangées. Les modalités concrètes de calcul des montants associés à la publication en accès ouvert sont relativement variées. S’il existe effectivement des formules récurrentes (volume d’articles multiplié par un prix individuel, reprise de la moyenne des sommes totales d’APC des années précédentes...), le calcul des sommes en jeu est toujours le résultat d’une négociation singulière entre un consortium et un éditeur scientifique, et aboutit parfois à des formules originales et complexes. À ce titre, l’espace des possibles en matière de formules financières n’est jamais totalement clos. Par ailleurs, la volonté des consortiums d’opérer une « transformation » de leurs accords vers la publication à coût constant renvoie à des définitions diversifiées du « coût » (inclusion ou non des dépenses d’APC préexistantes) et de la constance (admission ou pas d’une « inflation » à 2 ou 3%). De plus, nous n’avons observé aucune disposition contractuelle permettant d’anticiper les sommes en jeu au-delà de l’horizon temporel de l’accord courant. La grande diversité des accords provient d’une part des conditions initiales des relations entre consortiums et éditeurs scientifiques – les sommes dépensées en abonnement étant le point de départ des nouveaux accords –, d’autre part des objectifs de chaque partie. Même si cette étude excluait volontairement les négociations, les accords portent des traces de ces objectifs. Ainsi, de nombreux accords sont de nature explicitement expérimentale, quand certains visent un contrôle budgétaire strict, ou d’autres ambitionnent, dans la période plus récente, la publication du plus grand nombre possible d’articles en accès ouvert. C’est dans ce dernier cas qu’on touche à l’ambiguïté des attentes générales sur les accords transformants. En effet, pour les consortiums, la dimension « transformante » consiste essentiellement à transférer les sommes traditionnellement allouées à l’abonnement vers la publication en accès ouvert. Mais l’objectif n’est jamais de transformer le modèle économique des revues, c'est-à-dire de faire basculer des revues sous abonnement ou hybrides en revues entièrement en accès ouvert. D’ailleurs, aucune clause ne vise une telle fin – à l’exception du modèle d’accord proposé par l’éditeur ACM. Du côté des éditeurs, et notamment de Springer, le caractère cumulatif des accords nationaux passés vise à projeter un monde de la publication où l’accès ouvert devient de fait quantitativement très dominant, sans pour autant modifier de manière pérenne le modèle économique de leurs revues. Notre étude montre que les accords transformants actuels ne permettent pas d’assurer de manière durable une transition de l’économie de la publication vers l’accès ouvert, dans la mesure où ils n’offrent pas de garantie sur le contrôle des dépenses ni sur la pérennité de l’ouverture des contenus. L’avenir des relations entre consortium et éditeur demeure largement indéterminé.