Fraunhofer-Institut für Digitale Medientechnologie IDMTDie Entwicklung computergestützter Methoden zur Analyse, Segmentierung und Klassifizierung von Musiksignalen ist im Music Information Retrieval von zentraler Bedeutung. Eine Herausforderung ist dabei die Detektion der Gesangsstimme.
Ziel war es, automatisch alle Abschnitte einer Musikaufnahme zu erkennen, in denen ein Sänger zu hören ist. Was für das menschliche Gehör kein Problem darstellt, ist aufgrund komplexer Überlagerungen von Schallquellen, die durch das Zusammenspiel von Melodiestimme und Begleitinstrumenten entstehen, mit computergestützten Methoden nach wie vor schwierig.
Die automatische Instrumentenerkennung erweitert dieses Szenario, indem alle in einer Musikaufnahme vorkommenden Instrumente automatisch identifiziert und in Segmenten mit homogener Instrumentierung dargestellt werden sollen. Weitere Forschungsaufgaben waren das Auffinden aller monophonen Abschnitte, das Identifizieren aller Solostimmen oder aller Passagen mit einer vorherrschenden Melodie sowie das Auffinden von Abschnitten mit einer bestimmten Klangfarbe.
Ziel des Projekts war es, grundlegende Techniken und computergestützte Werkzeuge zur Erkennung von Schallquellen oder von charakteristischen Schallereignissen zu untersuchen, die in einer Musikaufnahme vorhanden sind. Um die Vielfalt von musikalischen Eigenschaften und komplexen Überlagerungen verschiedener Schallquellen berücksichtigen zu können, konzentrierten wir uns im Projekt auf bekannte Ansätze, die verschiedene ergänzende Informationen nutzen. Das können zum Beispiel musikalischen Parameter (z.B. Anzahl der Instrumente, Partiturinformationen), Klangbeispiele (z. B. Instrumenten-Samples, repräsentative Abschnitte) oder Nutzerangaben (z. B. Anmerkungen, interaktives Feedback) sein. Durch die Kombination von Audio-Segmentierungs-, Detektions- und Klassifizierungstechniken wurden im Projekt neue Ansätze entwickelt, die sich effizient an spezifische Anwendungsszenarien anpassen lassen. Anhand verschiedener anspruchsvoller Musikgenres, darunter westliche Klassik, Jazzmusik und Opernaufnahmen, wurden unsere Algorithmen zur Aktivitätserkennung anschließend getestet und evaluiert.
Informierte Klangquellenerkennung in Musikaufnahmen (ISAD)
Links
Förderer
- Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) - 350953655
Laufzeit
2018-2020