Aktuelle Entwicklungen in der Automatischen Musikverfolgung

08/07/2017
by   Andreas Arzt, et al.
0

In this paper we present current trends in real-time music tracking (a.k.a. score following). Casually speaking, these algorithms "listen" to a live performance of music, compare the audio signal to an abstract representation of the score, and "read" along in the sheet music. In this way at any given time the exact position of the musician(s) in the sheet music is computed. Here, we focus on the aspects of flexibility and usability of these algorithms. This comprises work on automatic identification and flexible tracking of the piece being played as well as current approaches based on Deep Learning. The latter enables direct learning of correspondences between complex audio data and images of the sheet music, avoiding the complicated and time-consuming definition of a mid-level representation. ----- Diese Arbeit befasst sich mit aktuellen Entwicklungen in der automatischen Musikverfolgung durch den Computer. Es handelt sich dabei um Algorithmen, die einer musikalischen Aufführung "zuhören", das aufgenommene Audiosignal mit einer (abstrakten) Repräsentation des Notentextes vergleichen und sozusagen in diesem mitlesen. Der Algorithmus kennt also zu jedem Zeitpunkt die Position der Musiker im Notentext. Neben der Vermittlung eines generellen Überblicks, liegt der Schwerpunkt dieser Arbeit auf der Beleuchtung des Aspekts der Flexibilität und der einfacheren Nutzbarkeit dieser Algorithmen. Es wird dargelegt, welche Schritte getätigt wurden (und aktuell getätigt werden) um den Prozess der automatischen Musikverfolgung einfacher zugänglich zu machen. Dies umfasst Arbeiten zur automatischen Identifikation von gespielten Stücken und deren flexible Verfolgung ebenso wie aktuelle Ansätze mithilfe von Deep Learning, die es erlauben Bild und Ton direkt zu verbinden, ohne Umwege über abstrakte und nur unter großem Zeitaufwand zu erstellende Zwischenrepräsentationen.

READ FULL TEXT

page 3

page 5

research
07/31/2017

Learning Audio - Sheet Music Correspondences for Score Identification and Offline Alignment

This work addresses the problem of matching short excerpts of audio with...
research
07/21/2020

Learning to Read and Follow Music in Complete Score Sheet Images

This paper addresses the task of score following in sheet music given as...
research
10/21/2020

Addressing the Recitative Problem in Real-time Opera Tracking

Robust real-time opera tracking (score following) would be extremely use...
research
07/17/2018

Learning to Listen, Read, and Follow: Score Following as a Reinforcement Learning Game

Score following is the process of tracking a musical performance (audio)...
research
05/06/2022

Musical Score Following and Audio Alignment

Real-time tracking of the position of a musical performance on a musical...
research
06/17/2020

Real-time visualisation of fugue played by a string quartet

We present a new system for real-time visualisation of music performance...
research
10/16/2019

Audio-Conditioned U-Net for Position Estimation in Full Sheet Images

The goal of score following is to track a musical performance, usually i...

Please sign up or login with your details

Forgot password? Click here to reset