Transformée en scattering sur la spirale temps-chroma-octave

09/01/2015 ∙ by Vincent Lostanlen, et al. ∙ 0

We introduce a scattering representation for the analysis and classification of sounds. It is locally translation-invariant, stable to deformations in time and frequency, and has the ability to capture harmonic structures. The scattering representation can be interpreted as a convolutional neural network which cascades a wavelet transform in time and along a harmonic spiral. We study its application for the analysis of the deformations of the source-filter model.

READ FULL TEXT VIEW PDF
POST COMMENT

Comments

There are no comments yet.

Authors

page 2

This week in AI

Get the week's most popular data science and artificial intelligence research sent straight to your inbox every Saturday.

1 Introduction

La variabilité des signaux acoustiques naturels peut se modéliser comme une action de déformation localisée en temps et en fréquence. Ainsi, la classification de sons repose essentiellement sur la construction de représentations qui demeurent stables à ces déformations, tout en offrant une bonne discriminabilité entre signaux de classes différentes. En cascadant convolutions locales et non-linéarités, les représentations en réseaux de neurones parviennent à combiner ces deux qualités ; mais elles sont entièrement adaptées aux données, et requièrent par conséquent une vaste base d’entraînement pour atteindre des performances satisfaisantes.

Dans cet article, nous proposons une représentation en cascade, dite transformée de scattering, dont l’architecture est similaire à un réseau de neurones, mais sans besoin d’optimiser les unités de convolution. On tire parti de la géométrie naturelle des sons pour construire une description stable aux déformations et qui préserve l’information transitoire autant que possible.

Ce travail est financé par la bourse ERC InvariantClass 320959. Le code source des expériences et figures est en libre accès a l’adresse www.github.com/lostanlen/scattering.m.

Un enjeu important de cette approche réside dans la préservation de la structure harmonique des partiels, y compris lorsque celle-ci est sujette à des variations d’amplitude, de hauteur et de timbre. Cette structure harmonique en peigne est très irrégulière sur un axe log-fréquentiel, et donc particulièrement difficile à caractériser dans un contexte polyphonique.

Pourtant, en enroulant l’axe log-fréquentiel en une spirale, de sorte que les partiels sur des octaves consécutives se trouvent alignés, on fait apparaître la régularité de l’enveloppe spectrale comme une dimension radiale. Une fois spécifiées les variables de temps, de chroma, et d’octave, le scattering en spirale consiste à cascader trois décompositions en ondelettes selon chacune de ces variables, puis à appliquer le module complexe.

L’ondelette en spirale est un produit d’ondelettes en temps, log-fréquence, et octave. Les oscillations bleues et vertes représentent la partie réelle et la partie imaginaire. L’enveloppe rouge représente le module complexe. Les partiels d’un son harmonique, représentés en gris, suivent un motif d’alignement radial.

2 Transformées sur le scalogramme

Dans cette section, on définit progressivement la transformée en scattering sur la spirale comme une extension de la transformée en scattering temporelle et de la transformée en scattering jointe temps-fréquence. Les trois transformées partagent le même formalisme.

2.1 Scalogramme et scattering temporel

On commence par construire une transformée en ondelettes couvrant les fréquences audibles. Soit un filtre passe-bande à de fréquence centrale réduite et de largeur de bande . On dilate la transformée de Fourier de par des facteurs de résolution et :

(1)

Chaque est un filtre passe-bande de fréquence centrale , de largeur de bande et de support temporel . On construit donc un banc de filtres à Q constant, capable de produire une représentation temps-fréquence stable et parcimonieuse [2, 3]. On choisit dans les figures de cet article.

Soit l’opérateur de convolution sur la variable temporelle . On appelle scalogramme de le module de la transformée en ondelettes , indexé par le logarithme en base de la fréquence acoustique :

La transformée à Q constant (CQT) correspond à un filtrage passe-bas de par une fenêtre de support :

est ainsi rendu invariant à toute translation inférieure à . Toutefois, lors de ce filtrage passe-bas, les modulations d’amplitude dans de fréquence supérieure à sont détruites. Afin de les restaurer, Andén et Mallat [2] ont introduit la transformée de scattering comme le scalogramme du scalogramme:

Les ondelettes ont un facteur de qualité égal à , mais nous choisissons de conserver la notation par souci de simplicité. Chaque ondelette a pour fréquence centrale et pour support temporel . Comme dans l’équation (2.1), le filtrage de par crée une représentation invariante à la translation jusqu’à :

2.2 Transformée jointe temps-échelle

La transformée de scattering définie à l’équation (2.1) décompose chaque bande de fréquence indépendamment, et ne peut donc pas capturer la cohérence de structures sonores temps-fréquence, telles que les variations de hauteur. Pour y remédier, Andén [1] a redéfini les ondelettes ’s comme des fonctions du temps et de la log-fréquence, indexées par la paire , où est une fréquence de modulation en Hertz et est une fréquence sur les déplacements en log-fréquence :

La variable est mesurée en cycles par octave ; elle peut prendre des valeurs positives ou négatives, ce qui permet de représenter des changements de hauteur montants ou descendants. Le support temporel de est maintenant , tandis que son support log-fréquentiel est . On note les convolutions selon l’axe log-fréquentiel. La transformée en scattering est étendu au cadre «  joint  » temps-échelle en remplaçant par dans l’équation (2.1):

Le modèle joint temps-fréquence correspond à la transformée «  corticale  » introduite par Shamma [3] afin de formaliser ses découvertes en neurologie de l’audition.

2.3 Transformée sur la spirale

Deux ondelettes en spirale étalées sur le plan temps-fréquence, présentant des différents et une localisation différente sur le scalogramme. À gauche : , , . À droite : , , . On a affiché la partie réelle des coefficients. Le noir correspond à des coefficients positifs et le blanc à des coefficients négatifs.

La transformée jointe temps-échelle décrit la variabilité temporelle de hauteur sans recourir à une segmentation préalable. Cependant, elle est agnostique à la structure harmonique des sons voisés. L’évolution de cette structure recèle de l’information sur les formants en parole, ou sur les attaques instrumentales en musique par exemple. On peut la mesurer en comparant des partiels voisins sur des échelles en log-fréquence allant de une à quatre octaves, et ce à chroma fixé. Nous proposons donc d’étendre la transformée jointe temps-fréquence afin d’incorporer les déplacements sur les octaves en conjonction avec les déplacements sur les log-fréquences voisines.

Conceptuellement, cela revient à enrouler la variable de log-fréquence selon la spirale des hauteurs (voir figure 1) : on révèle ainsi la variable radiale d’octave et la variable angulaire de chroma . En suivant le même procédé que dans les deux transformées définies auparavant, on commence par définir une ondelette comme un produit séparable d’ondelettes sur chacune des variables à transformer. Dans cet article, on a choisi une ondelette gammatone (profil asymétrique) selon le temps, une ondelette de Morlet (profil symétrique) selon les chromas et une ondelette gammatone selon les octaves.

La figure 2.3 illustre la structure géométrique de l’ondelette en spirale dans le plan , pour différentes valeurs de . Nous définissons la transformée en spirale comme une convolution séparable entre le scalogramme et , selon les trois variables de temps , log-fréquence , et octave (partie entière) :

Il se trouve que l’idée consistant à enrouler les hauteurs en spirale est bien connue en théorie de la musique, ne serait-ce que par la circularité des noms de notes. Elle a notamment été étudiée par Shepard et Risset pour construire des paradoxes de hauteurs [4] et a été validée par des imageries fonctionnelles du cortex auditif [5].

3 Déformations du modèle source-filtre

Un modèle de production sonore classique consiste en la convolution d’un signal de source glottique avec un filtre de conduit vocal . Dans cette section, on introduit une variabilité de hauteur et d’enveloppe spectrale par des déformations temporelles de et . On montre comment les propriétés d’harmonicité de et de régularité spectrale de , énoncées à l’équation (2), permettent de séparer et linéariser ces deux vitesses de déformation, sans étape de détection préalable.

3.1 Résultat principal

Soit un signal harmonique «  source   » et soit un difféomorphisme du temps ; on définit la source déformée. De même, on compose un «  filtre   » et un difféomorphisme pour définir . Le modèle source-filtre déformé est le signal

La dérivée de induit un changement de hauteur, tandis que provoque une dilatation locale de l’enveloppe spectrale . Nous allons montrer que, pour et suffisamment réguliers sur le support des ondelettes de premier ordre , les maxima locaux de sont rassemblés sur un plan de l’espace des coefficients de scattering en spirale. Ce plan satisfait l’équation cartésienne

Dans un contexte polyphonique, ce résultat signifie que des sons se chevauchant en temps et en fréquence pourraient être distingués par leurs vitesses respectives de source et de filtre. Les deux propriétés essentielles qui le sous-tendent sont l’harmonicité de et la régularité spectrale de .

3.2 Factorisation du scalogramme

On s’intéresse au comportement du modèle autour du partiel : soient et tels que est proche de . Afin de pouvoir linéariser et sur le support de , on travaille sous les hypothèses suivantes :

  1. (filtre lentement variable),

  2. (régularité spectrale),

  3. (source lentement variable) et

  4. (partiel de rang faible).

Les égalités (12) à (14) sont des approximations de Taylor valables uniquement dans ce contexte.

Avec (a), on peut négliger la contribution des partiels dans le scalogramme de . Avec (b), la localisation temporelle de l’ondelette permet de remplacer l’action du difféomorphisme est remplacée par une homothétie d’un facteur :

De même, avec (c), l’action de est remplacée par une homothétie d’un facteur . Par ailleurs, avec (d), la localisation fréquentielle de cette même ondelette permet de remplacer l’enveloppe spectrale par une constante autour de la fréquence :

En menant ces deux linéarisations conjointement, on aboutit à

3.3 Harmonicité et régularité spectrale

Les ondelettes et sont conçues pour être orthogonales aux fonctions affines. Or l’harmonicité de implique que son scalogramme est une constante le long de la variable d’octave , et ce pour tout difféomorphisme . De plus, la régularité spectrale de implique que son scalogramme est quasi linéaire le long de la variable de chroma . Ces deux propriétés s’écrivent

(2)

La définition du scattering en spirale se factorise alors en

(3)

où les opérateurs , , et désignent des convolutions en temps, log-fréquence, et octave respectivement.

3.4 Extraction de fréquences instantanées

Pour terminer, on constate que la phase du scalogramme de la source est . En dérivant cette quantité à fixé, on trouve une fréquence instantanée égale à . De même, la fréquence instantanée du scalogramme du filtre après convolution selon les octaves est . En supposant que

les enveloppes de ces deux convolutions sont approximativement constantes sur le support de . On conclut avec la formule approchée suivante pour les coefficients de scattering en spirale du modèle source-filtre déformé :

(4)

Le spectre de est une bosse centrée en . L’équation (3.1) est une conséquence immédiate de la formule ci-dessus. Ce résultat reste vrai après filtrage passe-bas par à condition que les vitesses et aient des variations relatives lentes devant :

(5)

3.5 Illustration numérique

La figure 3.5 illustre le comportement temps-fréquence de certains coefficients de scattering en spirale pour le mot anglais lion, prononcé /lan/ . On constate que la syllabe /la/ active en particulier les coefficients tels que , (hauteur montante, timbre montant) tandis que /n/ active les coefficients tels que , (hauteur descendante, timbre descendant). Ces signes sont corrélés avec les sens de déformations du modèle source-filtre : et pour la syllabe /la/, et pour la syllabe /n/.

En haut, un scalogramme du mot anglais lion (prononcé /lan/ ). En bas, coefficients de scattering de en fonction du temps et de la log-fréquence , pour fixé avec , , . La clarté est inversement proportionelle à l’amplitude des coefficients.

4 Conclusion

Le modèle en spirale présenté ici est bien connu en musique et en psychologie expérimentale. Cependant, les méthodes existantes en traitement du signal ne tirent pas avantage de sa richesse : elles représentent la hauteur sur une ligne (MFCC) ou sur un cercle (vecteurs de chroma). Dans cet article, on a montré comment la transformée de scattering sur la spirale caractérise les transitoires des sons harmoniques.

Références

  • [1] J. Andén. Time and Frequency Scattering for Audio Classification. Thèse de doctorat, École Polytechnique, 2014.
  • [2] J. Andén, S. Mallat. Deep Scattering Spectrum. IEEE Transactions on Signal Processing, vol. 62, n° 16, p. 4114–4128, 2014.
  • [3] K. Patil, D. Pressnitzer, S. Shamma, M. Elhilali. Music in our ears: the biological bases of musical timbre perception. PLoS computational biology, vol. 8, n° 11, 2012.
  • [4] J.-C. Risset. Paradoxes de hauteur. Rapport Ircam 11/78, 1978.
  • [5] J. D. Warren, S. Uppenkamp, R. D. Patterson, T. Griffiths. Separating pitch chroma and pitch height in the human brain. Proceedings of the National Academy of Sciences, vol. 100, n° 17, p. 10038–10042, 2003.