Literatura científica selecionada sobre o tema "Traitement audio numérique"

Cette communication présente une expérience pédagogique ludique menée à l’IUT de Bordeaux dans le cadre de la formation du BUT. Elle permet aux étudiants de 2e année du parcours Électronique et Systèmes Embarqués du BUT GEII de réaliser un projet de traitement numérique du signal, sur cible microcontrôleur de type STM32, à partir des signaux audios transmis depuis leur téléphone portable. Le traitement réalisé consiste à générer de l’écho ayant un gain de retour et une profondeur ajustables ou encore à réaliser un filtrage numérique dont la pulsation de coupure varie logarithmiquement.

Le coût de traitement computationnel nécessaire pour transférer des données entre le son, le geste et l'image numériques pose des contraintes considérables sur la quantité, la qualité et les processus de manipulation qu’un artiste peut réaliser sur ces matériaux en temps réel. Cet article introduit des techniques et outils logiciels pour établir des transferts de données entre divers espaces de représentation (comme des signaux audio ou vidéo, des bases des données ou des algorithmes génératifs, par exemple) en temps différé. Trois exemples de l’usage des idées présentées sont décrits pour analyser les avantages que cette approche pour la création audiovisuelle.

<p><strong>ABSTRACT</strong></p><p><strong>Background:</strong> Pharmacists in the Regina Qu’Appelle Health Region (RQHR), Saskatchewan, independently dose, monitor, and adjust vancomycin therapy. No framework exists for ongoing competency assessment of pharmacists.</p><p><strong>Objectives:</strong> The primary objective was to determine pharmacists’ overall level of competency for all components of the vancomycin prescribing procedure. The secondary objectives were to determine competency for individual prescribing phases, to stratify overall competency in relation to pharmacist and patient factors, and to identify the 3 most frequent errors.</p><p><strong>Methods:</strong> A retrospective chart audit was performed of patients who received a prescription for vancomycin between November 1, 2015, and January 31, 2016. Patients were included if they received pharmacistprescribed vancomycin as an inpatient or outpatient of an RQHR facility. Patients under the care of a pediatrician, those receiving vancomycin for surgical prophylaxis or via any route other than the IV route, and those whose vancomycin was prescribed by a current pharmacy resident were excluded. A rubric was created that assigned a numeric value for the appropriate completion of various procedure criteria.</p><p><strong>Results:</strong> A total of 326 patients received vancomycin during the study period, of whom 200 met the inclusion criteria, representing 511 discrete episodes of prescribing by 42 pharmacists. The median overall competency rate, for all phases of prescribing, was 100% (interquartile range [IQR] 90.1%–100%). The median competency rates for the empiric therapy and monitoring phases were 94.4% (IQR 88.9%–100%) and 100% (IQR 87.5%–100%), respectively. No statistically significant differences were found in relation to pharmacists’ experience or postbaccalaureate education, patients’ level of acuity, or timing of prescribing. The competency score was significantly higher among pharmacists prescribing for patients with normal renal function than among those prescribing for patients with reduced renal function (p = 0.008). The 3 most common errors were failure to document risk factors for nephrotoxicity, failure to document requirement to obtain future trough levels, and failure to document that samples for trough levels had been drawn correctly.</p><p><strong>Conclusions:</strong> During the study period, pharmacists at RQHR showed competency in all phases of vancomycin prescribing using the approved procedure. Documentation of clinical plans and assessments was identified as an area for improvement.</p><p><strong>RÉSUMÉ</strong></p><p><strong>Contexte :</strong> Des pharmaciens de la régie régionale de la santé de Regina Qu’Appelle (RRSRQ) en Saskatchewan s’occupent eux-mêmes de doser la vancomycine ainsi que d’en surveiller et d’en ajuster la posologie. Or, à ce jour, aucun cadre n’entoure l’évaluation continue de la compétence de ces pharmaciens.</p><p><strong>Objectifs :</strong> L’objectif principal était de déterminer le niveau global de compétence des pharmaciens pour tous les éléments de la marche à suivre pour prescrire la vancomycine. Les objectifs secondaires consistaient à déterminer le niveau de compétence pour chaque étape de la prescription, à stratifier le niveau global de compétence en fonction de facteurs se rapportant au pharmacien et au patient et à identifier les trois erreurs les plus courantes.</p><p><strong>Méthodes :</strong> On a réalisé une vérification rétrospective des dossiers médicaux de patients qui se sont fait prescrire la vancomycine entre le 1er novembre 2015 et le 31 janvier 2016. Les patients admis à l’étude devaient avoir reçu la vancomycine sur la prescription d’un pharmacien alors qu’ils étaient hospitalisés ou en consultation externe dans un établissement de la RRSRQ. Les patients soignés par un pédiatre, ceux ayant reçu un traitement prophylactique de vancomycine pour une intervention chirurgicale, ceux ayant reçu le médicament autrement que par voie intraveineuse et ceux dont la vancomycine a été prescrite par un résident en pharmacie à l’époque ont été exclus. Une grille d’évaluation a été créée afin d’accorder une valeur numérique selon le degré de conformité de l’exécution aux différents critères de la marche à suivre.</p><p><strong>Résultats :</strong> Au total, 326 patients ont reçu la vancomycine pendant la période d’étude. Parmi eux, 200 répondaient aux critères d’inclusion, ce qui représentait 511 actes distincts de prescription réalisés par 42 pharmaciens. Le taux de compétence global médian pour toutes les phases de la prescription était de 100 % (écart interquartile [ÉIQ] de 90,1 % à 100 %). Les taux de compétence médians pour les phases de l’antibiothérapie empirique et du suivi étaient respectivement de 94,4 % (ÉIQ de 88,9 % à 100 %) et de 100 % (ÉIQ de 87,5 % à 100 %). Aucune différence statistiquement significative quant à la compétence n’a été relevée par rapport à l’expérience du pharmacien, aux études universitaires de cycles supérieurs, à la gravité de l’état du patient ou au moment de la réalisation de la prescription. Le score de compétence était significativement plus élevé chez les pharmaciens prescrivant à des patients dont la fonction rénale est normale que pour ceux prescrivant à des patients atteints d’insuffisance rénale (p = 0,008). Les trois erreurs les plus courantes étaient : négliger de consigner les facteurs de risque néphrotoxique, négliger de consigner que l’obtention de futures concentrations minimales était nécessaire et négliger de consigner que les échantillons pour les concentrations minimales avaient été prélevés correctement.</p><p><strong>Conclusions :</strong> Pendant la période d’étude, les pharmaciens travaillant à la RRSRQ ont fait preuve de compétence dans l’ensemble des phases de prescription de la vancomycine en utilisant la marche à suivre approuvée. On a noté qu’il fallait améliorer la consignation des plans cliniques et des évaluations.</p>

Pour un malentendant, le déficit auditif peut représenter un handicap majeur tant du point de vue physique que du point de vue social. Pour cette raison, la réhabilitation auditive constitue un champ d'application particulièrement important du traitement du signal audio et ses enjeux dépassent le seul contexte technologique. C'est dans ce cadre, et en particulier dans celui de la réhabilitation auditive par port de prothèses externes, que se situe ce travail de thèse. L'audition étant un sens particulièrement performant et complexe, compenser les pertes auditives des malentendants est une tâche difficile et délicate. En outre, les appareils sont conçus à partir d'éléments miniaturisés de pointe, notamment les micro-processeurs, ce qui impose des contraintes de fonctionnement très strictes. Au cours de nos recherches, nous avons travaillé sur la réalisation d'un module de rehaussement du signal de parole utilisant une technique d'atténuation spectrale à court-terme mise au point par Ephraïm et Malah. A l'issue de ce travail, nous avons proposé d'adapter cette méthode en réalisant l'analyse spectrale selon une échelle en fréquence conforme à notre perception auditive, l'échelle ERB (Equivalent Rectangular Bandwith) qui modélise la résolution fréquentielle des filtres auditifs. Dans un deuxième temps, nous avons étudié le problème de retour acoustique entre les transducteurs de la prothèse. Ce retour acoustique est source d'instabilité pour le système et aboutit fréquemment à la production d'un effet Larsen. Ce type de désagrément est extrêmement gênant et contraint l'audioprothésiste à limiter le gain d'amplification de la prothèse. De ce fait, la réhabilitation auditive ne peut pas être optimale. Pour pallier ce problème, nous proposons d'utiliser une méthode de filtrage adaptatif multi-délais basée sur le LMS (Least Mean Square) et réalisée dans le domaine de la transformée de Hartley. Du fait du retour acoustique, une prothèse auditive est un système électro-acoustique en boucle fermée. Les conditions d'application sont donc contraires aux hypothèses de convergence du LMS. Pour assurer la convergence de l'algorithme de descente de gradient, nous proposons une nouvelle méthode de définition du pas d'adaptation. Afin de vérifier le bon fonctionnement de la méthode proposée dans des conditions réalistes, nous avons mis en place une plate-forme de test en temps-réel basée sur un prototype de prothèses.

Dans ce travail, nous avons mis au point une méthode de segmentation des contenus audiovisuels applicable aux appareils de stockage domestiques pour cela nous avons expérimenté un système distribué pour l'analyse du contenu composé de modules individuels d'analyse : les service unit. L'un entre eux a été dédié à la caractérisation des éléments hors contenu, i. E. Les publicités, et offre de bonnes perfermances. Parallélement, nous avons testé différents détecteurs de changement de plans afin de retenir le meilleur d'ente eux pour la suite. Puis, nous avons proposé une étude des règles de production des films, i. E. Grammaire de films, qui a permis de définir les séquences de parallel shot. Nous avons, ainsi, testé quatre méthodes de regroupement basées similarité afin de retenir la meilleure d'entre elles pour la suite. Finalement, nous avons recherché différentes méthodes de détection des frontières de scènes et avons obtenu les meilleurs résultats en combinant une méthode basée couleur avec un critère de longueur de plan. Ce dernier offre des performances justifiant son intégration dans les appareils de stockage grand public.

Résumé : Afin de répondre aux besoins de communication et de divertissement, il ne fait aucun doute que la parole et l’audio doivent être encodés sous forme numérique. En qualité CD, cela nécessite un débit numérique de 1411.2 kb/s pour un signal stéréo-phonique. Une telle quantité de données devient rapidement prohibitive pour le stockage de longues durées d’audio ou pour la transmission sur certains réseaux, particulièrement en temps réel (d’où l’adhésion universelle au format MP3). De plus, ces dernières années, la quantité de productions musicales et cinématographiques disponibles en cinq canaux et plus ne cesse d’augmenter. Afin de maintenir le débit numérique à un niveau acceptable pour une application donnée, il est donc naturel pour un codeur audio à bas débit d’exploiter la redondance entre les canaux et la psychoacoustique binaurale. Le codage perceptuel et plus particulièrement le codage paramétrique permet d’atteindre des débits manifestement inférieurs en exploitant les limites de l’audition humaine (étudiées en psychoacoustique). Cette recherche se concentre donc sur le codage paramétrique à bas débit de plus d’un canal audio. // Abstract : In order to fulfill our communications and entertainment needs, there is no doubt that speech and audio must be encoded in digital format. In"CD" quality, this requires a bit-rate of 1411.2 kb/s for a stereo signal. Such a large amount of data quickly becomes prohibitive for long-term storage of audio or for transmitting on some networks, especially in real-time (leading to a universal adhesion to the MP3 format). Moreover, throughout the course of these last years, the number of musical and cinematographic productions available in five channels or more continually increased.In order to maintain an acceptable bit-rate for any given application, it is obvious that a low bit-rate audio coder must exploit the redundancies between audio channels and binaural psychoacoustics. Perceptual audio coding, and more specifically parametric audio coding, offers the possibility of achieving much lower bit-rates by taking into account the limits of human hearing (psychoacoustics). Therefore, this research concentrates on parametric audio coding of more than one audio channel.

L’objectif de ce travail c’est l’étude et développement d’un système d’extraction des caractéristiques en utilisant techniques de traitement de signal en temps continu, afin de mitiger les inconvénients des implémentations existants basées en techniques analogiques et numériques conventionnelles, d’un système toujours en veille pour l’Internet des Objets. La cible est l’extraction du contenu spectral d’un signal audio en utilisant une nouvelle architecture basée en une cascade configurable de filtres à réponse impulsionnelle fini en temps continu. Un schéma efficace pour cascader des filtres est obtenu grâce aux techniques proposées pour l’élimination des glitches et du codage delta. Par ailleurs, ce travail introduit une fonction en temps continu pour estimer la puissance instantanée dans des bandes de fréquences sélectionnées et construire un spectrogramme à la sortie. Le système proposé à 12-bandes fréquentielles a été validée par des simulations comportementales. L’élément clé pour l’implémentation de ce système est un élément de délai numérique. Un nouveau élément de retard a été conçu et fabriquée en technologie 28 nm FDSOI et atteints une plage de délai record entre 30 ns et 97 µs avec une consommation de puissance de 15fJ/événement. En extrapolant ce résultat, le système proposé atteints une consommation approximée de 2.85 µW lors du traitement d’un signal vocal produit par une femme, tandis que la consommation statique est autours de 100 nW dans les périodes où il n’y a pas d’activité. Donc, la performance en termes de consommation moyenne d’énergie de ce système surpasse celle des implémentations dans l’état de l’art
The focus of this work is the study and development of a feature extraction system using Continuous-Time Digital Signal Processing (CT DSP) techniques, to mitigate the drawbacks of existing implementations based on traditional analog and digital solutions of always-on monitoring sensors for the Internet of Things (IoT). The target is to extract the spectral content of an audio signal using a novel architecture based on a cascade of configurable CT DSP Finite Impulse Response (FIR) filters. An efficient cascade scheme is enabled by the proposed glitch elimination and delta encoding techniques. Additionally, this work introduces a CT function to estimate the instantaneous power within selected frequency bands to build an output spectrogram. The proposed 12-band system has been validated using behavioral simulations. The key element for the implementation of this system is the digital delay element. A new delay element has been designed and fabricated in 28nm FDSOI technology and achieves a record tuning range from 30 ns to 97 µs with a power consumption of 15 fJ/event. By extrapolating this result, the system would have an overall peak power consumption of 2.85 µW when processing typical female speech, while consuming approximately 100 nW when no events are generated. Thus, the average system power consumption outperforms state-of-the-art feature extraction circuits

La restauration des films anciens est un domaine de recherche qui a été largement étudié par la communauté scientifique. La restauration de la piste son optique, quant à elle, n'a été en pratique effectuée que dans le domaine audio, bien qu'elle constitue une image continue sur la pellicule photographique, située entre la succession des images et les perforations. Deux types de pistes son optiques existent : les pistes son à largeur variable qui contiennent une région transparente située entre deux régions opaques symétriques. La taille de la région transparente est proportionnelle à l'amplitude du signal audio. Pour la restauration de ce type de pistes, nous avons proposé des algorithmes pour le réglage d'azimut, la détection de l'axe de symétrie et la correction de la topologie. Le nettoyage est assuré par une étape de segmentation. Le second type est celui des pistes son à densité variable, dans lesquelles c'est l'intensité de chaque ligne qui est proportionnelle à l'amplitude du signal audio. Pour la restauration de ce type de pistes, nous avons proposé un algorithme pour la détection et la correction de la déviation d'azimut, puis un algorithme de « clipping » pour la suppression des différents défauts. Nous avons également étudié le problème de la mauvaise exposition des pistes son. Ce problème est dû à la diffusion de la lumière pendant les différentes copies. Plusieurs méthodes morphologiques ont été développées pour la détection et la restauration de ce type de défauts. Le système de restauration est d'abord évalué par nos partenaires experts en la matière. Nous avons aussi organisé des tests audio en aveugle pour avoir une évaluation objective des résultats.

Résumé : L’audio numérique s’est déployé de façon phénoménale au cours des dernières décennies, notamment grâce à l’établissement de standards internationaux. En revanche, l’imposition de normes introduit forcément une certaine rigidité qui peut constituer un frein à l’amélioration des technologies déjà déployées et pousser vers une multiplication de nouveaux standards. Cette thèse établit que les codecs existants peuvent être davantage valorisés en améliorant leur qualité ou leur débit, même à l’intérieur du cadre rigide posé par les standards établis. Trois volets sont étudiés, soit le rehaussement à l’encodeur, au décodeur et au niveau du train binaire. Dans tous les cas, la compatibilité est préservée avec les éléments existants. Ainsi, il est démontré que le signal audio peut être amélioré au décodeur sans transmettre de nouvelles informations, qu’un encodeur peut produire un signal amélioré sans ajout au décodeur et qu’un train binaire peut être mieux optimisé pour une nouvelle application. En particulier, cette thèse démontre que même un standard déployé depuis plusieurs décennies comme le G.711 a le potentiel d’être significativement amélioré à postériori, servant même de cœur à un nouveau standard de codage par couches qui devait préserver cette compatibilité. Ensuite, les travaux menés mettent en lumière que la qualité subjective et même objective d’un décodeur AAC (Advanced Audio Coding) peut être améliorée sans l’ajout d’information supplémentaire de la part de l’encodeur. Ces résultats ouvrent la voie à davantage de recherches sur les traitements qui exploitent une connaissance des limites des modèles de codage employés. Enfin, cette thèse établit que le train binaire à débit fixe de l’AMR WB+ (Extended Adaptive Multi-Rate Wideband) peut être compressé davantage pour le cas des applications à débit variable. Cela démontre qu’il est profitable d’adapter un codec au contexte dans lequel il est employé.
Abstract : Digital audio applications have grown exponentially during the last decades, in good part because of the establishment of international standards. However, imposing such norms necessarily introduces hurdles that can impede the improvement of technologies that have already been deployed, potentially leading to a proliferation of new standards. This thesis shows that existent coders can be better exploited by improving their quality or their bitrate, even within the rigid constraints posed by established standards. Three aspects are studied, being the enhancement of the encoder, the decoder and the bit stream. In every case, the compatibility with the other elements of the existent coder is maintained. Thus, it is shown that the audio signal can be improved at the decoder without transmitting new information, that an encoder can produce an improved signal without modifying its decoder, and that a bit stream can be optimized for a new application. In particular, this thesis shows that even a standard like G.711, which has been deployed for decades, has the potential to be significantly improved after the fact. This contribution has even served as the core for a new standard embedded coder that had to maintain that compatibility. It is also shown that the subjective and objective audio quality of the AAC (Advanced Audio Coding) decoder can be improved, without adding any extra information from the encoder, by better exploiting the knowledge of the coder model’s limitations. Finally, it is shown that the fixed rate bit stream of the AMR-WB+ (Extended Adaptive Multi-Rate Wideband) can be compressed more efficiently when considering a variable bit rate scenario, showing the need to adapt a coder to its use case.

L'objectif de cette thèse est de concevoir des algorithmes qui permettent la détection robuste d’objets et d’événements dans des vidéos en s’appuyant sur une analyse conjointe de données audio et visuelle. Ceci est inspiré par la capacité remarquable des humains à intégrer les caractéristiques auditives et visuelles pour améliorer leur compréhension de scénarios bruités. À cette fin, nous nous appuyons sur deux types d'associations naturelles entre les modalités d'enregistrements audiovisuels (réalisés à l'aide d'un seul microphone et d'une seule caméra), à savoir la corrélation mouvement/audio et la co-occurrence apparence/audio. Dans le premier cas, nous utilisons la séparation de sources audio comme application principale et proposons deux nouvelles méthodes dans le cadre classique de la factorisation par matrices non négatives (NMF). L'idée centrale est d'utiliser la corrélation temporelle entre l'audio et le mouvement pour les objets / actions où le mouvement produisant le son est visible. La première méthode proposée met l'accent sur le couplage flexible entre les représentations audio et de mouvement capturant les variations temporelles, tandis que la seconde repose sur la régression intermodale. Nous avons séparé plusieurs mélanges complexes d'instruments à cordes en leurs sources constituantes en utilisant ces approches.Pour identifier et extraire de nombreux objets couramment rencontrés, nous exploitons la co-occurrence apparence/audio dans de grands ensembles de données. Ce mécanisme d'association complémentaire est particulièrement utile pour les objets où les corrélations basées sur le mouvement ne sont ni visibles ni disponibles. Le problème est traité dans un contexte faiblement supervisé dans lequel nous proposons un framework d’apprentissage de représentation pour la classification robuste des événements audiovisuels, la localisation des objets visuels, la détection des événements audio et la séparation de sources.Nous avons testé de manière approfondie les idées proposées sur des ensembles de données publics. Ces expériences permettent de faire un lien avec des phénomènes intuitifs et multimodaux que les humains utilisent dans leur processus de compréhension de scènes audiovisuelles
The goal of this thesis is to design algorithms that enable robust detection of objectsand events in videos through joint audio-visual analysis. This is motivated by humans’remarkable ability to meaningfully integrate auditory and visual characteristics forperception in noisy scenarios. To this end, we identify two kinds of natural associationsbetween the modalities in recordings made using a single microphone and camera,namely motion-audio correlation and appearance-audio co-occurrence.For the former, we use audio source separation as the primary application andpropose two novel methods within the popular non-negative matrix factorizationframework. The central idea is to utilize the temporal correlation between audio andmotion for objects/actions where the sound-producing motion is visible. The firstproposed method focuses on soft coupling between audio and motion representationscapturing temporal variations, while the second is based on cross-modal regression.We segregate several challenging audio mixtures of string instruments into theirconstituent sources using these approaches.To identify and extract many commonly encountered objects, we leverageappearance–audio co-occurrence in large datasets. This complementary associationmechanism is particularly useful for objects where motion-based correlations are notvisible or available. The problem is dealt with in a weakly-supervised setting whereinwe design a representation learning framework for robust AV event classification,visual object localization, audio event detection and source separation.We extensively test the proposed ideas on publicly available datasets. The experimentsdemonstrate several intuitive multimodal phenomena that humans utilize on aregular basis for robust scene understanding

L'amplificateur de puissance est le module le plus critique dans les équipements de communication radio. Il détermine la qualité de la liaison par sa linéarité et a une contribution conséquente dans la consommation de l'émetteur ; environ 60% de l'énergie consommée est consacré à l'amplification. Il est donc crucial de le faire fonctionner avec un rendement énergétique élevé. Cependant, ces deux spécifications principales de l'amplificateur que sont la linéarité et le rendement énergétique sont antagoniques. Par conséquent, la conception d'un module d'amplification de puissance suppose de trouver un compromis entre la linéarité et le rendement. L'optimisation de ce compromis est la raison d'être des techniques de linéarisation d'amplificateurs et d'amélioration du rendement, parmi lesquelles la prédistorsion numérique (DPD) et les techniques de réduction du PAPR du signal (CFR).Le cœur de cette thèse est la linéarisation d'amplificateurs RF haute-puissance et large-bande par prédistorsion numérique (DPD). Dans ces travaux, nous abordons trois problématiques liées à la prédistorsion et qui constituent des verrous technologiques importants. Le premier aspect concerne l'implémentation de la prédistorsion numérique dans un contexte multi-bande où le signal à linéariser comporte plusieurs formes d'ondes, situées à des fréquences différentes. La seconde problématique est l'utilisation conjointe de la prédistorsion avec une technique de CFR. Dans la majorité des applications haute-puissance, les techniques de DPD et de CFR sont présentes de manière complémentaire, cependant elles sont utilisées de façon autonome et disjointe. Celles-ci gagneraient en performances de linéarisation en étant implémentées de manière plus concertée. . Le dernier thème abordé par cette thèse est l'effet des désadaptations d'impédance de l'antenne sur le mode de fonctionnement de l'amplificateur. La variation de l'impédance d'antenne entraine des réflexions de signal vers l'amplificateur qui modifient ses spécifications de linéarité et de rendement. Nous améliorons la linéarité du système DPD + AP, lorsque l'amplificateur est soumis à des variations de l'impédance à sa charge, grâce à une correction adaptative de gain
Power amplifier is one of the most critical element within radiocommunications systems. The PA is their main source of nonlinearities and it has a great contribution on the emitter's power consumption. Running the PA with highest power efficiency is thus as crucial as having it linear for a good communication quality. However these two specifications of the PA are antagonistic and PA manifacturers need to find a compromise between linearity and power efficiency. Digital Predistortion (DPD) and Crest factor Reduction techniques are intended to improve power efficiency while preserving linearity or inversely. Linearization of wideband RF power amplifiers using Digital Predistortion is the focus of this thesis. Three DPD issues are investigated in these works. The first issue deals with multiband linearization where signals with various waveforms located at different frequency bands are amplified. The second objective of this thesis is to study a concurrent DPD/CFR systems based on an automatic estimation of the necessary CFR gain. The last part of this dissertation deals with PA linearization under antenna load variations. Indeed, the impedance of antenna may vary because of electromagnetic objects that are present in its vicinity. Those impedance variations may instigate signal reflections toward the PA, that modify some of its main specifications (linearity, delivered power and efficiency). Our goal in this field is to preserve DPD linearization performances under antenna load mismatch

Cette thèse tisse des liens entre les domaines de l'indexation audio et de l'analyse de séquences d'images, à travers le problème de l'analyse de l'accompagnement rythmique des signaux de musique. Nous étudions d'abord le problème de la transcription de la piste de batterie d'enregistrements musicaux à partir de la modalité audio seule. Après avoir présenté des pré-traitements permettant d'accentuer cette piste, nous utilisons des techniques d'apprentissage statistique sur une large gamme d'attributs pour réaliser la transcription. Nous introduisons également des approches supervisées et non supervisées pour améliorer la reconnaissance en exploitant la régularité des motifs rythmiques. Nous incorporons ensuite à ce système de transcription l'information visuelle provenant de caméras filmant le batteur. Différentes approches sont présentées pour détecter la position des éléments de la batterie dans la scène et pour associer les régions extraites à des catégories sonores. Des descripteurs d'intensité de mouvement sont ensuite utilisés pour la détection des frappes. Les résultats démontrent la capacité d'une approche multimodale à résoudre certaines des ambiguïtés propres à la transcription audio. Nous étendons enfin nos travaux aux clips vidéos, en tentant de mesurer de quelle manière la musique peut être illustrée par des images. Après avoir présenté ou introduit de nouvelles méthodes de structuration automatique des flux audio et vidéo à différents niveaux, nous définissons des mesures de synchronie sur les structures obtenues. Ces mesures, qui s'avèrent dépendantes du type de document musical, permettent des applications de recherche de musique par l'image.

Ce mémoire de thèse de doctorat présente, discute et propose des outils de fouille automatique de mégadonnées dans un contexte de classification supervisée musical.L'application principale concerne la classification automatique des thèmes musicaux afin de générer des listes de lecture thématiques.Le premier chapitre introduit les différents contextes et concepts autour des mégadonnées musicales et de leur consommation.Le deuxième chapitre s'attelle à la description des bases de données musicales existantes dans le cadre d'expériences académiques d'analyse audio.Ce chapitre introduit notamment les problématiques concernant la variété et les proportions inégales des thèmes contenus dans une base, qui demeurent complexes à prendre en compte dans une classification supervisée.Le troisième chapitre explique l'importance de l'extraction et du développement de caractéristiques audio et musicales pertinentes afin de mieux décrire le contenu des éléments contenus dans ces bases de données.Ce chapitre explique plusieurs phénomènes psychoacoustiques et utilise des techniques de traitement du signal sonore afin de calculer des caractéristiques audio.De nouvelles méthodes d'agrégation de caractéristiques audio locales sont proposées afin d'améliorer la classification des morceaux.Le quatrième chapitre décrit l'utilisation des caractéristiques musicales extraites afin de trier les morceaux par thèmes et donc de permettre les recommandations musicales et la génération automatique de listes de lecture thématiques homogènes.Cette partie implique l'utilisation d'algorithmes d'apprentissage automatique afin de réaliser des tâches de classification musicale.Les contributions de ce mémoire sont résumées dans le cinquième chapitre qui propose également des perspectives de recherche dans l'apprentissage automatique et l'extraction de caractéristiques audio multi-échelles
This doctoral dissertation presents, discusses and proposes tools for the automatic information retrieval in big musical databases.The main application is the supervised classification of musical themes to generate thematic playlists.The first chapter introduces the different contexts and concepts around big musical databases and their consumption.The second chapter focuses on the description of existing music databases as part of academic experiments in audio analysis.This chapter notably introduces issues concerning the variety and unequal proportions of the themes contained in a database, which remain complex to take into account in supervised classification.The third chapter explains the importance of extracting and developing relevant audio features in order to better describe the content of music tracks in these databases.This chapter explains several psychoacoustic phenomena and uses sound signal processing techniques to compute audio features.New methods of aggregating local audio features are proposed to improve song classification.The fourth chapter describes the use of the extracted audio features in order to sort the songs by themes and thus to allow the musical recommendations and the automatic generation of homogeneous thematic playlists.This part involves the use of machine learning algorithms to perform music classification tasks.The contributions of this dissertation are summarized in the fifth chapter which also proposes research perspectives in machine learning and extraction of multi-scale audio features