Automatische Musikanalyse

Analyse und Annotation von Audio- und Videoinhalten

Audiosignalverarbeitung und maschinelles Lernen für die Musikanalyse

Audiosignalverarbeitung und maschinelles Lernen revolutionieren die Musikanalyse. Von Audio-Matching über Annotation und Ähnlichkeitssuche bis hin zur automatischen Musiktranskription und -generierung eröffnen sich dadurch neue Anwendungsmöglichkeiten für Broadcast Monitoring, Musiksuche und -empfehlung, Musikproduktion und Musiklernprogramme.

Unser Ziel ist es, mit unseren Ansätzen und Techniken zur automatischen Musikanalyse einen schnellen und maßgeschneiderten Zugriff auf musikalische Inhalte zu ermöglichen. Wir entwickeln praxisorientierte Lösungen, die in verschiedenen Anwendungsbereichen wie Unterhaltung, Bildung und Musikproduktion zur Anwendung kommen. Neben der Verbesserung bestehender Technologien, wollen wir neue Anwendungsmöglichkeiten für die automatische Musikanalyse aufzeigen und wirken an der Weiterentwicklung von Algorithmen und Methoden mit.

Aktuelles

 

Event / 12.3.2024

DataTech 2024

Wir beteiligen uns mit dem Vortrag »Digital Traces: Verification of Audio-Visual Content« am Data Technology Seminar 2024 – dem jährlichen Event der EBU rund um die Themen Daten und KI für Medien.

 

Neues Projekt

Mit der KI im musikalischen Frage-Antwort-Spiel

Entwicklung einer KI-basierten Kompositions-App

 

Interview

Unlocking musics secrets

Unsere Expertin, Hanna Lukashevich, gab während eines Interviews auf dem diesjährigen Wallifornia MUSIC & INNOVATION SUMMIT in Lüttich, Belgien, spannende Einblicke in unsere Forschungsarbeiten.

Musikdaten verstehen

Wie finde ich schnell ein passendes Musikstück in einem großen Musikkatalog? Kann ich mir automatisch den passenden Beat für eine Musikproduktion empfehlen lassen, an der ich gerade arbeite? Welche Programme in meinem Archiv sind die erfolgreichsten? Das sind typische Fragestellungen, bei denen unsere Technologien zur Musikanalyse helfen können.

Audiosignalverarbeitung und maschinelles Lernen haben die Musikanalyse grundlegend verändert. Die multidisziplinäre Forschungsrichtung „Music Information Retrieval“ umfasst Algorithmen und Techniken zur Extraktion musikalischer Informationen aus Audiodaten, um sie in interpretierbare Formate zu überführen. Die Ergebnisse kommen in Bereichen wie Broadcast Monitoring, Musiksuche und -empfehlung, Musikproduktion, Content Tracking und Musiklernprogramme zum Einsatz.

KI-basierte Musikanalysetechnologien

Allgemeine Herausforderungen in der automatischen Musikanalyse umfassen die Verarbeitung großer Datenmengen, die Berücksichtigung von Musikvielfalt und -kontext, die Robustheit gegenüber Variationen in der Aufnahmequalität sowie die effiziente Integration von Echtzeit-Analysealgorithmen für verschiedene Anwendungsbereiche.

Audio-Matching

Audio-Matching via Audio-Fingerprinting ermöglicht das Auffinden bestimmter Audioaufnahmen in Musiksammlungen und Streams. Dafür werden Medieninhalte anhand akustischer Fingerabdrücke verglichen und identifiziert. Das Audio-Matching wird zur Analyse der Musiknutzung im Broadcast-Monitoring, für Content-Tracking-Anwendungen, Archiv-Pflege sowie in Musiksuchmaschinen und Empfehlungssystemen eingesetzt.
 

Am Fraunhofer IDMT erforschen wir unter anderem, wie man die Genauigkeit und Effizienz der Audio-Matching-Techniken weiter verbessern kann, um eine präzisere Erkennung und Identifizierung von Medieninhalten zu ermöglichen.

Annotation und Ähnlichkeitssuche für Musik

Die Annotation und Ähnlichkeitssuche für Musik erleichtern die Organisation von Musiksammlungen und vereinfachen den Zugriff auf musikalische Inhalte. Durch die Verwendung von Metadaten können Such- und Empfehlungssysteme vielseitig eingesetzt werden, um automatisiert passende Musik oder musikalische Elemente zu finden  – zum Beispiel in Streamingdiensten für Endnutzer oder in der Musikproduktion.


Wir arbeiten daran, die Annotation und Ähnlichkeitssuche insbesondere für große und vielfältige Musiksammlungen weiter zu verbessern und Benutzerpräferenzen und kontextuelle Informationen noch stärker zu berücksichtigen.

Automatische Musiktranskription

Bei der automatischen Musiktranskription werden akustische Musiksignale in eine symbolische Musiknotation überführt und musikalische Strukturen wie Melodien, Akkorde und Rhythmen extrahiert. Eingesetzt werden diese Techniken in Musiklernprogrammen, in der Musikspielentwicklung und in musiktheoretischen Studien.


Die besonderen Herausforderungen der automatischen Musiktranskription liegen darin, komplexe musikalische Strukturen auch bei polyphonen Musikstücken oder in Situationen mit Hintergrund- und Störgeräuschen präzise, zuverlässig und in Echtzeit zu erfassen.

Automatische Musikgenerierung

Die automatische Musikgenerierung umfasst die Entwicklung von Algorithmen und KI-Systemen, die eigene kreative Musikstücke oder Teile davon erzeugen können. Von der automatischen Unterstützung im Musikproduktionsprozess und bei Live-Aufführungen bis hin zur Melodiegenerierung auf der Grundlage von Harmonien eröffnet die automatische Musikgenerierung neue kreative Ansätze in der Musikkomposition und -produktion.


Die automatische Musikgenerierung ist noch ein junges Forschungsfeld und erfordert weitere Fortschritte, um realistische und kohärente musikalische Ergebnisse zu erzeugen, die auch den Erwartungen von Musikschaffenden und Hörerinnen und Hörern entsprechen. Am Fraunhofer IDMT forschen wir daran, den Kompositionsprozess der KI transparent und steuerbar zu machen und so die kreative Zusammenarbeit von Musikschaffenden und KI zu  unterstützen.

 

Forschungsprojekt

Musik-Automat

Entwicklung einer KI-basierten Kompositions-App

 

Forschungsprojekt

ISAD 2

Entwicklung von erklärbaren und nachvollziehbare Deep‐Learning‐Modellen für ein besseres Verständnis der strukturellen und akustischen Eigenschaften von Klangquellen (Musik, Umwelt- und Umgebungsgeräusche)

 

Forschungsprojekt

AI4Media

Exzellenzprojekt für KI im Medienbereich – unsere Beiträge: Audioforensik, Audio-Herkunftsanalyse, Musikanalyse, technischer Datenschutz und Empfehlungssysteme

 

Referenzprojekt

Jamahook – AI Sound Matching

Suchmaschine für Loops und Beats basierend auf SoundsLike

 

Forschungsprojekt

MusicBricks

Musical Building Blocks for Digital Makers and Content Creators: Innovative IKT Komponenten für KMU im Kreativbereich für die Entwicklung neuer Geschäftsmodelle

 

Forschungsprojekt

SyncGlobal

Weltmusikkataloge nach dramaturgischen Kriterien durchsuchen und mit Videoinhalten synchronisieren

 

Forschungsprojekt

GlobalMusic2one

Adaptive, hybride Suchtechnologien für die automatisierte Empfehlung und Online-Vermarktung globaler Musikbestände

Forschungsprojekt

MuSEc

Audioanalyse und datenschutzfreundliche Nutzungsmessung für Audio Monitoring

 

Forschungsprojekt

Emused

Interaktive App, mit der sich das Improvisieren auf einem Instrument erlernen lässt

 

Forschungsprojekt

MiCO

Plattform für multimodale und kontextbasierte Analyse, in die unterschiedlichste Analysekomponenten für verschiedene Medientypen integriert werden können

Produkte

 

SoundsLike

KI-basiertes Taggen und Suchen in großen Musikarchiven

 

Audio Matching

Einen bestimmten Audioausschnitt innerhalb eines Streams oder einer Datei wiederfinden – auch bei Störgeräuschen oder anhand eines sehr kurzen Audiobeispiels 

 

Sprach- und Musikdetektor

Software-Tool zur exakten Aufzeichnung von Musik- und Sprachanteilen für optimierte Radio- und TV-Programme und zur gerechten Abrechnung für Rechteverwerter

 

Automatische Musiktranskription

Umwandlung von akustischen Musiksignalen in Noten für Musikspielen und Musiklernprogramme

Datensätze

Das Fraunhofer IDMT hat in den letzten Jahren Audiodatensätze für verschiedene Forschungsbereiche wie die Erkennung von Instrumenten, Fingersätzen oder Performance-Analysen erstellt. Diese Datensätze wurden in mehreren wissenschaftlichen Publikationen auf internationalen Konferenzen vorgestellt und sollen der wissenschaftlichen Gemeinschaft als mögliche Benchmarks für Vergleichsexperimente dienen.