Webbasierte Erkennung mehrstimmiger Tonfolgen

Fraunhofer IDMT und Skoove entwickeln Algorithmus zur webbasierten Erkennung mehrstimmige Tonfolgen

Presseinformation / 21. Januar 2016

Bereits seit November 2015 gibt es einen Klavierlehrer, der immer Zeit hat und ganz genau zuhört, was seine Musikschüler spielen. Sein Name ist Skoove. Hierbei handelt es sich um eine browserbasierte Lernplattform mit interaktiven Kursen zum Erlernen von Keyboard, E-Piano oder klassischem Klavier. Der Clou – dank Melodieerkennungs-Algorithmen vom Fraunhofer-Institut für Digitale Medientechnologie IDMT bekommen die Musikschüler schon während des Spielens ein Feedback, wie gut sie die vorgegebenen Noten getroffen haben.

Skoove
© Skoove
Mit dem Fraunhofer-Erkennungsalgorithmus für gespielte Tonfolgen erhält der Nutzer sofort eine Rückmeldung zum Lernfortschritt.

Wie funktioniert das? Mit dem integrierten Mikrofon des Laptops werden die gespielten Töne aufgenommen. Mit Hilfe des vom Fraunhofer IDMT in Zusammenarbeit mit dem Berliner Unternehmen Skoove entwickelten Algorithmus zur Erkennung von gespielten Noten wird eine mehrstimmige Tonvalidierung durchgeführt. Mit der sogenannten »multipitch validation« wird überprüft, ob die vorgegebenen Referenznoten auch tatsächlich gespielt und die richtige Notenfolge eingehalten wurde.

Um den Spielfluss nicht zu beeinträchtigen, erfolgt die Erkennung und der Abgleich der gespielten Töne in Echtzeit. Dazu muss der Erkennungsalgorithmus schnell und zuverlässig arbeiten. Ein wichtiger Aspekt ist hierbei die Robustheit bei der Erkennung von Pianotönen gegenüber Störsignalen wie Lüfter- und Umgebungsgeräuschen, bei unterschiedlichen Lautstärken oder einem verstimmtem Klavier. Gemeinsam durchgeführte Testreihen belegen die robuste Erkennung bei verschiedenen Störsignalen.

Ein weiteres Feature über das sich Florian Plenge, Geschäftsführer von Skoove sehr freut: »Der neue Erkennungsalgorithmus verursacht nur eine geringe Rechnerbelastung und Latenz – damit wird Skoove noch attraktiver für seine Nutzer. Mit dieser technisch ausgereiften Lösung können Anfänger und Fortgeschrittene mit dem einfachsten Keyboard und dem besten Flügel schnell Klavierspielen und Musiktheorie lernen«.

Das Fraunhofer-Institut für Digitale Medientechnologie ist wissenschaftlich renommiert auf dem Gebiet der automatischen Melodieerkennung. Mit den am Institut entwickelten Analysetools können wesentliche musikalische Eigenschaften wie Rhythmus, Instrumentierung, Melodie/Harmonie, Struktur, Stimmung oder Genre klassifiziert werden. Einsatz finden die Lösungen beispielsweise in Musiksuch- und Empfehlungsmaschinen oder auch in Musiklernsoftware und Musikspielen.