Analyse von Umgebungsgeräuschen

KI-basierte Analyse von komplexen akustischen Szenen und Geräuschen

Mithilfe modernster KI-Technologien erforschen wir das bisher unerschlossene Potenzial von Umgebungsgeräuschen für Anwendungen in den Bereichen Bioakustik, Lärmmonitoring, Logistik und Verkehrsmonitoring oder  Sicherheitsüberwachung von Baustellen und bei öffentlichen Veranstaltungen.

Aktuelles

 

Journal Article

Human and Machine Performance in Counting Sound Classes in Single-Channel Soundscapes

Der Artikel ist in der Dezember-Ausgabe Volume 71 Number 12 des Journal of the AES (JAES) erschienen.

 

Call for Papers

Inter-Noise 2024

Unser Audioexperte Jakob Abeßer ist Mit-Organisator der Technical Session »Machine Learning for Acoustic Scene Understanding«. Einreichungen sind noch bis 7. Februar 2024 möglich.

 

Neues Projekt / 15.5.2023

Open Innovation Lab

Testprojekt Lärmmonitoring im Rahmen des »Open Innovation Lab« der Stadt Gelsenkirchen gestartet

Informationen aus Umgebungsgeräuschen erfassen

Geräusche umgeben uns im Alltag überall – als störender Lärm, als beruhigendes Blätterrauschen oder als warnendes Sirenengeräusch auf der Straße. Der Mensch ist nicht nur in der Lage, wichtige von unwichtigen Geräuschen zu unterscheiden. Er interpretiert die Geräusche auch auf der Grundlage seiner Erfahrungen und erhält dadurch wichtige Informationen über seine Umgebung.

Das »Machine Listening« ist ein Teilgebiet der Künstlichen Intelligenz und beschäftigt sich damit, diese Fähigkeit des Menschen nachzubilden und automatisiert Informationen aus Umgebungsgeräuschen zu erfassen und zu interpretieren. Dafür werden Verfahren der Signalverarbeitung und des maschinellen Lernens miteinander verknüpft und Algorithmen zur Analyse, Quellentrennung und Klassifikation von Musik, Sprache und Umgebungsgeräuschen entwickelt. Die Quellentrennung ermöglicht es, komplexe akustische Szenen in ihre Bestandteile, also in einzelne Klangquellen, zu zerlegen. Bei der Klassifikation werden die Geräusche identifiziert und zuvor definierten Klangquellen oder Geräuschklassen zugeordnet.

Zum Einsatz kommen die entwickelten Technologien und Lösungen in verschiedenen Bereichen 

  • Bioakustik: Tierarten identifizieren, Verhaltensmuster studieren oder Umweltauswirkungen anhand akustischer Eigenschaften überwachen
  • Lärmmonitoring: Lärmdaten erfassen, Lärmversursacher erkennen und Lärmschutzmaßnahmen planen
  • Logistik und Verkehrsmonitoring: Fahrzeuge zählen und klassifizieren, Verkehrsströme analysieren, um die Einsatzplanung bei Notfällen zu verbessern und Maßnahmen zur Verkehrsleitung einzuleiten
  • Sicherheitsüberwachung (Baustellen, öffentliche Veranstaltungen): Gefahrensituationen, Vandalismus oder Einbrüche akustisch erkennen 

Robust erkennen, energieeffizient umsetzen

Allgemeine Herausforderungen bei der Analyse von Umgebungsgeräuschen liegen unter anderem in einer robusten Erkennung von Einzelgeräuschen trotz hoher klanglicher Variabilität innerhalb und zwischen verschiedenen Geräuschklasse. Einfach gesagt: Der Algorithmus muss sowohl einen Dackel als auch eine große Dogge anhand des Bellens als Hund erkennen. Die starke Überlagerung mehrerer statischer und bewegter Klangquellen in anspruchsvollen Szenarien erschweren zusätzlich eine zuverlässige Erkennung. 

Bei der praktischen Ausbringung von KI-Algorithmen in akustischen Sensoren erschweren vor allem unterschiedliche Mikrofoneigenschaften aber auch raumakustische Effekte wie Hall und Reflektionen die Klassifikation. 

Unsere Forschung beschäftigt sich außerdem mit der Fragestellung, wie kompakte KI-Modelle mit möglichst wenig Trainingsdaten trainiert werden können, um sie anschließend auch auf ressourcenbeschränkter Hardware einzusetzen. Das ist notwendig, da an den Einsatzorten oft keine oder nur eine begrenzte Stromversorgung vorhanden ist und Langzeitanalysen oftmals mehrere Tage oder Wochen andauern. Die Modelle dürfen daher nicht sehr groß und komplex sein, damit sie für eine Echtzeitanalyse auf den Geräten funktionieren.

Geräusche verstehen lernen

Unser Ziel ist es, die Technologie für praktisch relevante Fragestellungen wie die  Messung und Untersuchung von Lärmbelastung, Bio- und Ökoakustik sowie Baustellen- und Logistikmonitoring einzusetzen. 

Die Grundlagenforschung in den Bereichen effiziente KI-Modelle, erklärbare KI, Training mit wenig Daten, Domain Adaptation hat darüber hinaus das Potenzial, domänenübergreifend auch in anderen Audioforschungsbereichen wie der Sprachverarbeitung oder Musiksignalverarbeitung eingesetzt zu werden. 

Außerdem forschen wir im Rahmen von Hörtests oder Citizen Science Anwendungen mit Probanden zur subjektiven Wahrnehmung von Lärm und anderen perzeptuellen Schallattributen. Ziel ist es, ein besseres Verständnis davon zu bekommen, welche Klangquellen in alltäglichen Situationen einen besonders störenden Einfluss auf unsere Lärmwahrnehmung (und damit verbunden auch auf unsere Gesundheit) haben.

Eingesetze Methodik

Bei der Analyse von Umfeldgeräuschen kommen folgende Methoden und Verfahren zur Anwendung:

  • Audiosignalverarbeitung
  • Deep Learning
  • Perzeption von Schallsignalen

 

Forschungsprojekt

StadtLärm

Entwicklung eines Lärmüberwachungssystems zur Unterstützung von städtischen Lärmschutzaufgaben

 

Testprojekt

Open Innovation Lab

Testprojekt Lärmmonitoring im Rahmen des »Open Innovation Lab« der Stadt Gelsenkirchen

 

Forschungsprojekt

BioMonitor4CAP

Akustische Tierspezieserkennung und –klassifikation für ein verbessertes Biodiversitätsmonitorings in der Landwirtschaft

 

Forschungsprojekt

Construction-sAIt

Multimodale KI-basierte Technologien zur automatischen Baustellenüberwachung

 

Forschungsprojekt

ISAD 2

Entwicklung von erklärbaren und nachvollziehbare Deep‐Learning‐Modellen für ein besseres Verständnis der strukturellen und akustischen Eigenschaften von Klangquellen (Musik, Umwelt- und Umgebungsgeräusche)

 

Forschungsprojekt

vera.ai

Klangereignisdetektion und akustische Szenenerkennung für die Entwicklung von vertrauenswürdigen KI-Lösungen, die zur Erkennung fortgeschrittener Desinformationstechniken im Medienbereich geeignet sind

 

Forschungsprojekt

news-polygraph

Klangereignisdetektion und acoustic landmark detection für die Entwicklung einer multimodalen, crowd-gestützten Technologieplattform zur Desinformationsanalyse

 

Forschungsprojekt

NeuroSensEar

Klangereignisdetektion und akustische Szenenerkennung für bio-inspirierte akustische Sensorik für hocheffiziente Hörgeräte

 

Forschungsprojekt

Sound Surv:AI:llance

Akustische Einbruchsüberwachung

Datensätze

Das Fraunhofer IDMT hat in den letzten Jahren Audiodatensätze für verschiedene Forschungsbereiche wie die Erkennung von Instrumenten, Fingersätzen oder Performance-Analysen erstellt. Diese Datensätze wurden in mehreren wissenschaftlichen Publikationen auf internationalen Konferenzen vorgestellt und sollen der wissenschaftlichen Gemeinschaft als mögliche Benchmarks für Vergleichsexperimente dienen.