Analyse von Umgebungsgeräuschen

KI-basierte Analyse von komplexen akustischen Szenen und Geräuschen

Mithilfe modernster KI-Technologien erforschen wir das bisher unerschlossene Potenzial von Umgebungsgeräuschen für Anwendungen in den Bereichen Bioakustik, Lärmmonitoring, Logistik und Verkehrsmonitoring oder Sicherheitsüberwachung von Baustellen und bei öffentlichen Veranstaltungen.

Aktuelles

 

Konferenz

EUSIPCO 2024

Am 27. August 2024 präsentieren wir unsere aktuellen Forschungsergebnisse aus dem Bereich des bioakustischen Monitorings auf der European Signal Processing Conference EUSIPCO.

 

Journal Article

Human and Machine Performance in Counting Sound Classes in Single-Channel Soundscapes

Der Artikel ist in der Dezember-Ausgabe Volume 71 Number 12 des Journal of the AES (JAES) erschienen.

 

Konferenz

Inter-Noise 2024

Unser Audioexperte Jakob Abeßer ist Mit-Organisator der Technical Session »Machine Learning for Acoustic Scene Understanding« und wir präsentieren zwei Paper aus dem Bereich des akustischen Monitorings.

Informationen aus Umgebungsgeräuschen erfassen

Geräusche umgeben uns im Alltag überall – als störender Lärm, als beruhigendes Blätterrauschen oder als warnendes Sirenengeräusch auf der Straße. Der Mensch ist nicht nur in der Lage, wichtige von unwichtigen Geräuschen zu unterscheiden. Er interpretiert die Geräusche auch auf der Grundlage seiner Erfahrungen und erhält dadurch wichtige Informationen über seine Umgebung.

Das »Machine Listening« ist ein Teilgebiet der Künstlichen Intelligenz und beschäftigt sich damit, diese Fähigkeit des Menschen nachzubilden und automatisiert Informationen aus Umgebungsgeräuschen zu erfassen und zu interpretieren. Dafür werden Verfahren der Signalverarbeitung und des maschinellen Lernens miteinander verknüpft und Algorithmen zur Analyse, Quellentrennung und Klassifikation von Musik, Sprache und Umgebungsgeräuschen entwickelt. Die Quellentrennung ermöglicht es, komplexe akustische Szenen in ihre Bestandteile, also in einzelne Klangquellen, zu zerlegen. Bei der Klassifikation werden die Geräusche identifiziert und zuvor definierten Klangquellen oder Geräuschklassen zugeordnet.

Zum Einsatz kommen die entwickelten Technologien und Lösungen in verschiedenen Bereichen 

  • Bioakustik: Tierarten identifizieren, Verhaltensmuster studieren oder Umweltauswirkungen anhand akustischer Eigenschaften überwachen
  • Lärmmonitoring: Lärmdaten erfassen, Lärmversursacher erkennen und Lärmschutzmaßnahmen planen
  • Logistik und Verkehrsmonitoring: Fahrzeuge zählen und klassifizieren, Verkehrsströme analysieren, um die Einsatzplanung bei Notfällen zu verbessern und Maßnahmen zur Verkehrsleitung einzuleiten
  • Sicherheitsüberwachung (Baustellen, öffentliche Veranstaltungen): Gefahrensituationen, Vandalismus oder Einbrüche akustisch erkennen 

Robust erkennen, energieeffizient umsetzen

Allgemeine Herausforderungen bei der Analyse von Umgebungsgeräuschen liegen unter anderem in einer robusten Erkennung von Einzelgeräuschen trotz hoher klanglicher Variabilität innerhalb und zwischen verschiedenen Geräuschklasse. Einfach gesagt: Der Algorithmus muss sowohl einen Dackel als auch eine große Dogge anhand des Bellens als Hund erkennen. Die starke Überlagerung mehrerer statischer und bewegter Klangquellen in anspruchsvollen Szenarien erschweren zusätzlich eine zuverlässige Erkennung. 

Bei der praktischen Ausbringung von KI-Algorithmen in akustischen Sensoren erschweren vor allem unterschiedliche Mikrofoneigenschaften aber auch raumakustische Effekte wie Hall und Reflektionen die Klassifikation. 

Unsere Forschung beschäftigt sich außerdem mit der Fragestellung, wie kompakte KI-Modelle mit möglichst wenig Trainingsdaten trainiert werden können, um sie anschließend auch auf ressourcenbeschränkter Hardware einzusetzen. Das ist notwendig, da an den Einsatzorten oft keine oder nur eine begrenzte Stromversorgung vorhanden ist und Langzeitanalysen oftmals mehrere Tage oder Wochen andauern. Die Modelle dürfen daher nicht sehr groß und komplex sein, damit sie für eine Echtzeitanalyse auf den Geräten funktionieren.

Geräusche verstehen lernen

Unser Ziel ist es, die Technologie für praktisch relevante Fragestellungen wie die Messung und Untersuchung von Lärmbelastung, Bio- und Ökoakustik sowie Baustellen- und Logistikmonitoring einzusetzen. 

Die Grundlagenforschung in den Bereichen effiziente KI-Modelle, erklärbare KI, Training mit wenig Daten, Domain Adaptation hat darüber hinaus das Potenzial, domänenübergreifend auch in anderen Audioforschungsbereichen wie der Sprachverarbeitung oder Musiksignalverarbeitung eingesetzt zu werden. 

Außerdem forschen wir im Rahmen von Hörtests oder Citizen Science Anwendungen mit Probanden zur subjektiven Wahrnehmung von Lärm und anderen perzeptuellen Schallattributen. Ziel ist es, ein besseres Verständnis davon zu bekommen, welche Klangquellen in alltäglichen Situationen einen besonders störenden Einfluss auf unsere Lärmwahrnehmung (und damit verbunden auch auf unsere Gesundheit) haben.

Eingesetze Methodik

Bei der Analyse von Umfeldgeräuschen kommen folgende Methoden und Verfahren zur Anwendung:

  • Audiosignalverarbeitung
  • Deep Learning
  • Perzeption von Schallsignalen

 

Forschungsprojekt

StadtLärm

Entwicklung eines Lärmüberwachungssystems zur Unterstützung von städtischen Lärmschutzaufgaben

 

Testprojekt

Open Innovation Lab

Testprojekt Lärmmonitoring im Rahmen des »Open Innovation Lab« der Stadt Gelsenkirchen

 

Forschungsprojekt

BioMonitor4CAP

Akustische Tierspezieserkennung und –klassifikation für ein verbessertes Biodiversitätsmonitorings in der Landwirtschaft

 

Forschungsprojekt

Construction-sAIt

Multimodale KI-basierte Technologien zur automatischen Baustellenüberwachung

 

Forschungsprojekt

ISAD 2

Entwicklung von erklärbaren und nachvollziehbare Deep‐Learning‐Modellen für ein besseres Verständnis der strukturellen und akustischen Eigenschaften von Klangquellen (Musik, Umwelt- und Umgebungsgeräusche)

 

Forschungsprojekt

vera.ai

Klangereignisdetektion und akustische Szenenerkennung für die Entwicklung von vertrauenswürdigen KI-Lösungen, die zur Erkennung fortgeschrittener Desinformationstechniken im Medienbereich geeignet sind

 

Forschungsprojekt

news-polygraph

Klangereignisdetektion und acoustic landmark detection für die Entwicklung einer multimodalen, crowd-gestützten Technologieplattform zur Desinformationsanalyse

 

Forschungsprojekt

NeuroSensEar

Klangereignisdetektion und akustische Szenenerkennung für bio-inspirierte akustische Sensorik für hocheffiziente Hörgeräte

 

Forschungsprojekt

Sound Surv:AI:llance

Akustische Einbruchsüberwachung

Jahr
Year
Titel/Autor:in
Title/Author
Publikationstyp
Publication Type
2024 Towards Measuring and Forecasting Noise Exposure at the VELTINS-Arena in Gelsenkirchen, Germany
Ngamthipwatthana, Pitchapa; Götze, Marco; Kátai, András; Abeßer, Jakob
Konferenzbeitrag
Conference Paper
2024 Aktuelle Forschungsschwerpunkte in der akustischen Ereignisdetektion
Abeßer, Jakob; Grollmisch, Sascha; Bös, Joachim
Konferenzbeitrag
Conference Paper
2024 Selbstüberwachtes Vortraining zur Verbesserung automatischer Audioklassifikationsalgorithmen
Grollmisch, Sascha; Abeßer, Jakob; Bös, Joachim
Konferenzbeitrag
Conference Paper
2024 Visual and audio scene classification for detecting discrepancies in video: a baseline method and experimental protocol
Apostolidis, Konstantinos; Abeßer, Jakob; Cuccovillo, Luca; Vasileios, Mezaris
Konferenzbeitrag
Conference Paper
2024 Towards Domain Shift in Location-Mismatch Scenarios for Bird Activity Detection
Latifi Bidarouni, Amir; Abeßer, Jakob
Konferenzbeitrag
Conference Paper
2023 Investigations on the Implementation of an Acoustic Rain Sensor System
Hock, Kevin; Götz, Julian; Seideneck, Mario; Sladeczek, Christoph
Konferenzbeitrag
Conference Paper
2023 How Robust are Audio Embeddings for Polyphonic Sound Event Tagging?
Abeßer, Jakob; Grollmisch, Sascha; Müller, Meinard
Zeitschriftenaufsatz
Journal Article
2022 Classifying Sounds in Polyphonic Urban Sound Scenes
Abeßer, Jakob
Zeitschriftenaufsatz
Journal Article
2022 Analyzing Bird and Bat Activity in Agricultural Environments using AI-driven Audio Monitoring
Abeßer, Jakob; Wang, Xiaoyi; Bänsch, Svenja; Scherber, Christoph; Lukashevich, Hanna
Konferenzbeitrag
Conference Paper
2022 Construction-sAIt: Multi-modal AI-driven technologies for construction site monitoring
Abeßer, Jakob; Loos, Alexander; Sharma, Prachi
Konferenzbeitrag
Conference Paper
2021 DESED-FL and URBAN-FL: Federated Learning Datasets for Sound Event Detection
Johnson, David S.; Lorenz, Wolfgang; Taenzer, Michael; Mimilakis, Stylianos Ioannis; Grollmisch, Sascha; Abeßer, Jakob; Lukashevich, Hanna
Konferenzbeitrag
Conference Paper
2021 Improving Semi-Supervised Learning for Audio Classification with FixMatch
Grollmisch, Sascha; Cano, Estefanía
Zeitschriftenaufsatz
Journal Article
2021 Investigating the influence of microphone mismatch for acoustic traffic monitoring
Gourishetti, Saichand; Abeßer, Jakob; Grollmisch, Sascha; Kátai, András; Liebetrau, Judith
Konferenzbeitrag
Conference Paper
2021 DESED-FL and URBAN-FL: Federated Learning Datasets for Sound Event Detection
Johnson, David S.; Lorenz, Wolfgang; Taenzer, Michael; Grollmisch, Sascha; Abeßer, Jakob; Lukashevich, Hanna; Mimilakis, Stylianos
Paper
2021 IDMT-Traffic: An Open Benchmark Dataset for Acoustic Traffic Monitoring Research
Abeßer, Jakob; Gourishetti, Saichand; Kátai, András; Clauß, Tobias; Sharma, Prachi; Liebetrau, Judith
Konferenzbeitrag
Conference Paper
2020 Sound Event Detection with Depthwise Separable and Dilated Convolutions
Drossos, Konstantinos; Mimilakis, Stylianos I.; Gharib, Shayan; Li, Yanxiong; Virtanen, Tuomas
Paper
2020 A Review of Deep Learning Based Methods for Acoustic Scene Classification
Abeßer, Jakob
Zeitschriftenaufsatz
Journal Article
2020 Identifikation urbaner Geräuschquellen mittels maschineller Lernverfahren
Clauß, T.; Abeßer, Jakob
Zeitschriftenaufsatz
Journal Article
2020 Analyzing the potential of pre-trained embeddings for audio classification tasks
Grollmisch, Sascha; Kehling, Christian; Taenzer, Michael; Cano, E.
Konferenzbeitrag
Conference Paper
2019 Smart Solutions to Cope with Urban Noise Pollution
Abeßer, Jakob; Kepplinger, Sara
Zeitschriftenaufsatz
Journal Article
2018 Stadtlärm - a distributed system for noise level measurement and noise source identification in a smart city environment
Clauß, Tobias; Abeßer, Jakob; Lukashevich, Hanna; Gräfe, Robert; Häuser, Franz; Kühn, Christian; Sporer, Thomas
Konferenzbeitrag
Conference Paper
Diese Liste ist ein Auszug aus der Publikationsplattform Fraunhofer-Publica

This list has been generated from the publication platform Fraunhofer-Publica