Analyse von Industriegeräuschen

KI-basiertes akustisches Monitoring in der Produktion

Die Forschungsarbeiten im Bereich Analyse von Industriegeräuschen beschäftigen sich mit der Entwicklung von KI-basierten Verfahren für das automatisierte akustische Monitoring (amo) von Produkten und Prozessen, zur Anwendung in Inline- sowie End-of-Line Qualitätskontrollen, in der Prozessüberwachung sowie in der vorausschauenden Wartung. 

Aktuelles

Lore ipsum dolor sit

Internationale Fachmesse für Qualitätssicherung

36. Control in Stuttgart

Wir zeigen »Verfahren für die KI-basierte akustische Qualitätskontrolle in der Produktion« vom 23.4. bis 26.4.2024

Das Potenzial der akustischen Qualitätsbeurteilung in der Produktion

Wie nutzen Sie akustische Signale zur Qualitätsbewertung?

Am Beispiel Ihres PKW lässt sich das Potenzial für eine Qualitätsbeurteilung auf Grundlage akustischer Signale sehr gut verdeutlichen. Sie kennen das vertraute Fahrgeräusch, verursacht von Motor, Reifenabrieb und Fahrtwind. Doch wie fühlen Sie sich, wenn sich dieses Geräusch ändert? Ein Klappern oder Schleifgeräusche könnten Sie beunruhigen und Sie überlegen, ob die Fahrtauglichkeit Ihres PKW noch gegeben ist. Sie reagieren vermutlich auf diesen unbekannten und unerwarteten Zustand, in dem sie in die Werkstatt fahren, oder zumindest Ihren Wagen stoppen. In der Industrie läuft es nicht anders. Wir analysieren den Klang Ihres Produkts oder Ihres Produktionsprozesses und machen Sie darauf aufmerksam, wenn etwas nicht wie erwartet funktioniert.

Übertragen auf die Industrie gilt: Überall dort, wo sich etwas bewegt, entstehen hörbare Geräusche, die auf die Qualität von Produkten oder Prozessen schließen lassen. Wir am Fraunhofer IDMT am Standort Ilmenau entwickeln KI-basierte Verfahren zur Geräuschanalyse – insbesondere zur Analyse von Industriegeräuschen – und schaffen damit innovative Ansätze für das automatisierte akustische Monitoring (amo) von Produkten und Prozessen.  amo kann entlang der gesamten Wertschöpfungskette zur Qualitätsbeurteilung eingesetzt werden und bietet dort einen Mehrwert, wo beispielsweise optische Überwachungsverfahren an ihre Grenzen stoßen.

Unser Team aus Wissenschaftlerinnen und Wissenschaftlern der Bereiche Datenwissenschaft, Datenanalyse und Softwareentwicklung sowie Projektmanagement  forscht aus diesem Grund an KI-basierten Lösungen für die Audiosignalanalyse. Die Innovation ist, dass bei amo die gewonnenen Messdaten ohne Verbindung zu einer externen Cloud verarbeitet und unsere Lösungen daher lokal innerhalb des eigenen Unternehmens oder direkt an der Maschine betrieben werden können.

Herausforderungen bei der sensorbasierten Maschinenüberwachung

Maschinen- und Anlagenbauer stehen vor der Herausforderung, dass sie ihren Kunden eine allumfängliche Maschinenüberwachung auf Sensorbasis liefern wollen. Mit bisherigen Verfahren können jedoch nicht alle auftretenden Probleme gelöst werden, wie bspw. unerwartete Stillstandzeiten, die kontinuierliche Überwachung der Maschine oder die Auswertung vorhandener Maschinendaten. Hinzu kommt das Fehlen von Fachleuten, die ihre Maschine so gut kennen, dass sie Fehler sofort am Klang erkennen und bei Bedarf handeln können. Ziel ist es, das Gehör von erfahrenem Maschinenpersonal zu imitieren und ein zuverlässiges, automatisiertes System zu entwickeln,  das anhand der in der Produktion auftretenden Geräusche Hinweise auf Unregelmäßigkeiten an Maschinen oder in Prozessen gibt.

KI-basierte akustische Überwachung

Inhalte eines Pilotprojekts

  • Analyse und Interpretation der Geräuschkulisse in der Produktionsumgebung
  • Erstellung eines bedarfsgerechten Setups zur Aufnahme der Geräusche
  • Systematische Erfassung akustischer Signale
  • Auswahl und Anwendung geeigneter Analysemethoden
  • Beachtung von Datenschutz und -sicherheit
  • Einschätzung der Umsetzbarkeit von akustischem Monitoring für spezifische Anwendungsfälle

Überblick

Forschungsfeld »amo«

Forschungsprojekt

DIAMOSS-I

Entwicklung eines intelligenten, selbstüberwachenden Schallsensorsystems für raue Industriebedingungen

 

Forschungsprojekt

OptiStrick

Entwicklung eines KI-gestützten Inline-Qualitätssicherungssystems zur Optimierung hochflexibler Stricktechnologien

 

Forschungsprojekt

RapidKI

Intelligente Inline-Kontrolle am Beispiel von umweltschonenden Laser-Abtragprozessen

Forschungsprojekt

HybridDigital

Digitalisierung zur effizienten Prozessauswahl und Auslegung von Hybridstrukturen auf Basis experimenteller und synthetischer Daten

Forschungsprojekt

ML-S-LeAF

Entwicklung von Machine Learning-Algorithmen auf Basis virtueller Schalldaten für den Leichtbau zur Qualitätssicherung in der Additiven Fertigung

 

Forschungsprojekt

AKoS

Akustische Kontrolle von Schweißnähten bei sicherheitskritischen Bauteilen im Rahmen der Qualitätssicherung

Forschungsprojekt

e-LAS+

Multimodale Qualitätssicherung für die Produktion von Stromspeichern in sicherheitskritischen Systemen

Forschungsprojekt

ExtrudEAR

Abbildung der auditiven Wahrnehmung und menschlichen Expertenwissens auf die Prozesskontrolle von Extrudern

Forschungsprojekt

SEC-Learn

Sensor Edge Cloud für verteiltes Lernen

 

ZIM-Netzwerk »AkuPro«

Akustische Analysen in Produktionssystemen

Werden Sie Netzwerkpartner!

Anwendung sucht Partner

Netzwerke

Leistungszentrum InSignA – Intelligente Signalanalyse- und Assistenzsysteme

AkuPro – Akustische Analysen in Produktionssystemen (ZIM-Netzwerk)

IMAMF Innovationsform zum Austausch über KI-basiertes, akustisches Monitoring von Fertigungsprozessen

 

 

Leistungszentrum

InSignA

Beispiele für erfolgreich durchgeführte Machbarkeitsstudien

Automatische Erkennung von Druckluftleckagen

Zuverlässig und automatisiert hörbare Leckagen erkennen dank Luftschallanalyse und maschineller Lernverfahren.

Druckluft ist für viele deutsche Industrie- und Handwerksbetriebe eine unerlässliche Ressource zum Betreiben von Maschinen und Anlagen. Gleichzeitig stellt sie aber auch einen hohen Kostenfaktor auf der Stromrechnung dar. Unternehmen verschwenden durchschnittlich 30 Prozent der erzeugten Energie aufgrund der unbemerkten Entweichung von teurer Druckluft. Zur Erkennung solcher Leckagen setzt man unter anderem auf Prüfverfahren mittels Ultraschall sowie auf das bloße Gehör von geschultem Personal.

Das Fraunhofer IDMT hat nun in einem Experiment getestet, ob sich dieses »Hören« automatisieren und unter Verwendung von Mikrofonen in Kombination mit maschinellen Lernverfahren nachbilden lässt, um ein zuverlässiges System zur Leckagendetektion zu entwickeln. Erste Ergebnisse zeigen, dass dies generell möglich ist.

Automatische Erkennung und Unterscheidung von Elektromotoren

Die Motoren-Demo verdeutlicht die Leistungsfähigkeit des akustischen Monitorings im industriellen Einsatz. Als Anwendungsbeispiel wurde die Erkennung drei unterschiedlich klingender Elektromotoren gewählt.

In diesem Experiment wurden drei unterschiedliche Betriebszustände simuliert: gut, schlecht und unter Last laufend. Jeder Motor hat einen dieser Zustände, die sehr unterschiedlich klingen. Die Forschenden haben ein MEMS-Mikrofon (Mikro-Elektronisch-Mechanische-Systeme zur Signalaufnahme) vor den Motoren platziert, welches die Betriebsgeräusche der nacheinander laufenden Motoren aufnimmt. Es wurden Aufnahmen jedes Motors einzeln, mit und ohne Hintergrundlärm gemacht, welche in die anschließende Analyse mit Verfahren des maschinellen Lernens einflossen. 

Automatische Erkennung unterschiedlicher Materialien anhand von Pling-Geräuschen

Der Prinzipdemonstrator »Air-Hockey Tisch« bietet Besucherinnen und Besuchern auf Messen und Konferenzen neben dem fachlichen Austausch eine sportliche Abwechslung.

Anhand eines für den Forschungseinsatz modifizierten Air-Hockey Tischs wird an neuartigen Verfahren zur akustischen Qualitätssicherung im industriellen Kontext gearbeitet. Hier kommen Pucks zum Einsatz, die aus verschiedenen Materialien gefertigt sind und unterschiedliche »Pling«-Geräusche verursachen, sobald sie an die Bande des Spielgeräts treffen. Während des Spiels treten diese akustischen Signale so häufig und unregelmäßig auf, dass sie zur Analyse mittels maschineller Lernverfahren genutzt werden können, um eine zuverlässige Aussage über das Material zu treffen, aus dem die Pucks gefertigt sind.

Eingesetzt werden kann dieses berührungslose Verfahren, bei dem das Fraunhofer IDMT seine langjährige Expertise in den Bereichen akustische Messtechnik, Signalverarbeitung und maschinelles Lernen kombiniert, unter anderem zur Erkennung von Materialfehlern oder in der In-Line Überwachung von Schweißprozessen. Werden akustisch wahrnehmbare Fehler bereits im Prozess festgestellt, kann dieser abgebrochen und zeitnah neu gestartet werden. Das akustische Prüfverfahren des Fraunhofer IDMT ist zudem zerstörungsfrei und dient somit der Reduzierung von teurem Prüfschrott.

Automatische Erkennung von Materialfehlern anhand von Rollgeräuschen

Der Kugelbahndemonstrator verdeutlicht die Leistungsfähigkeit des akustischen Monitoring-Verfahrens im industriellen Einsatz. Als Anwendungsbeispiel wurde die Erkennung von Fehlern in Oberflächen gewählt.

Drei unterschiedlich beschichtete Kugeln rollen in zufälliger Reihenfolge durch das Kugelbahnsystem. Die Bewegungsgeräusche der Kugeln werden von kleinen Mikrofonen aufgenommen und durch maschinelle Lernalgorithmen analysiert. Auf diese Weise werden die Kugeln in Echtzeit überwacht und anhand ihres spezifischen Rollgeräusches identifiziert. Das Analyseergebnis - die Reihenfolge der Ankunft - wird sofort grafisch auf einem Display dargestellt. Das Institut zeigt mit diesem Prinzip-Demonstrator neue akustische Verfahren zur Qualitätssicherung – berührungslos, zerstörungsfrei und sicher integriert.

»Einbrechern das Handwerk legen«

KI-Demonstrator zur akustischen Einbruchsüberwachung auf Geräten mit begrenzter Rechenleistung.

Akustische Qualitätskontrolle von Drehteilen

Mit Luftschallanalyse und KI Haarrisse in Drehteilen zuverlässig erkennen.

Im Rahmen der Qualitätsprüfung durchlaufen die gezeigten Drehteile üblicherweise eine 100 % visuelle Endkontrolle. Geprüft wird auf feinste Haarrisse, die optisch kaum erkennbar sind, jedoch auf einen Qualitätsmangel hindeuten. In einem Experiment hat das Fraunhofer IDMT untersucht, inwieweit Haarrisse mittels Luftschallanalyse mit KI automatisiert detektiert werden können. Als Prüfschritt in der Endkontrolle wurde der Aufprall eines Drehteils auf eine Platte aufgenommen und entsprechend den Klassen »i.O.« und »n.i.O« zugeordnet. Dabei stellten sich die Wissenschaftlerinnen und Wissenschaftler den Fragestellungen, ob die Klangspektren des Aufpralls eine Unterscheidung in Gut- und Fehlteile zulassen, welche Parameter diese Klangspektren beeinflussen (bspw. Fallhöhe oder Material der Platte) und welche Mikrofonpositionen sich am besten für die Aufnahmen und zur späteren Analyse eignen. Erste Ergebnisse zeigten, dass es generell möglich ist, die Drehteile anhand des Aufprallgeräusches in zwei Klassen zu unterscheiden.

amo Weihnachtsgrüße– denn die Anwendungsmöglichkeiten unserer KI-basierten Verfahren sind mehr als vielfältig.

Lautsprecher an: »We save Christmas«

Wir bieten Dienstleistungen im Bereich Forschung und Entwicklung und beraten unsere Industriekunden gern zu den zahlreichen Einsatzmöglichkeiten des akustischen Monitorings (amo) im Rahmen eines Industrieprojekts. Zusätzlich arbeiten wir in teilweise öffentlich geförderten Forschungs- und Entwicklungsprojekten, um gemeinsam mit breit aufgestellten Fachkonsortien anwendungsspezifische Lösungen zu entwickeln.

Möglichkeiten der gemeinsamen Projektarbeit

Die Anwendungsgebiete für akustisches Monitoring sind vielfältig. Überall dort, wo hörbare Geräusche in Prozessen oder an Produkten auftreten, kann der Einsatz automatisierter akustischer Prüfverfahren einen Mehrwert bieten. Wir untersuchen kontinuierlich den Einsatz unserer KI-Algorithmen zur akustischen Qualitätsprüfung in den Fertigungsbereichen Schweißen und Zerspanen sowie in weiteren Anwendungsfällen, in denen akustische Signale Aufschluss über Qualität und Güte geben.

Dienstleistungen

  • Machbarkeitsuntersuchungen individueller Anwendungsfälle
  • Entwicklung industrietauglicher Demonstratoren

Das akustische Monitoring kann u. a. beim Zerspanen oder Schweißen eingesetzt werden. Anwendungsfälle sind: Inline-Monitoring, Prozessüberwachung oder Predictive Maintenance.

In regelmäßigen Abständen tauschen sich die Wissenschaftlerinnen und Wissenschaftler mit Industrievertretern aus und präsentieren aktuelle Forschungsergebnisse auf wissenschaftlichen Tagungen und Kongressen. Zudem veröffentlichen wir regelmäßig Beiträge in Fachmagazinen, welche Anwendungsthemen unserer Forschungsrichtung behandeln.

Chauhan, J., Gourishetti, S., Rohe, M., Sennewald, M., Hildebrand, J., & Bergmann, J. P. (2023).
Empirical study on DED-Arc welding quality inspection using airborne sound analysis.
In K.-U. Sattler (Ed.), Engineering for a Changing World: Proceedings; 60th ISC, Ilmenau Scientific Colloquium, Technische Universität Ilmenau, September 04-08, 2023 (1.3.055). Ilmenau Scientific Colloquium. Technische Universität Ilmenau ; 60 (Ilmenau) : 2023.09.04-08. https://doi.org/10.22032/dbt.58732

 

Kodera S, Schmidt L, Römer F, Schricker K, Gourishetti S, Böttger D, Krüger T, Kátai A, Straß B, Wolter B, et al.
Temporal Resolution of Acoustic Process Emissions for Monitoring Joint Gap Formation in Laser Beam Butt Welding.
Applied Sciences. 2023; 13(18):10548. https://doi.org/10.3390/app131810548

 

Saichand Gourishetti, Sascha Grollmisch, Jaydeep Chauhan; Jean Pierre Bergmann, Jörg Hildebrand, Maximilian Rohe, Martin Sennewald (Technische Universität Ilmenau, FG Fertigungstechnik)
Arc Welding Process Monitoring Using Neural Networks and Audio Signal Analysis
Proceedings SMSI 2023 - Sensor and Measurement Science International

 

Y. Ren, C. Adams, P. Gross, A.B. Talagini Ashoka, A. Kátai, M. Weigold and T. Melz
Acoustic data acquisition for quality monitoring during Powder Bed Fusion with Laser Beam (PBF-LB)
Tagungsband, Fortschritte der Akustik - DAGA 2023

 

Ö.F. Yildiz, A. Fritz, J. Storch, A. Kátai, S. Ribecky, P. Hofmann, A.B. Talagini Ashoka, R. Fassbender, H. Marckmann, S. Grollmisch, S. Jansen, C. Adams, I. Kroh, O. Zaleski, A. Manohar, S. Keuchel, H. Merschroth, T. Schröder, P. Gross, Y. Ren, C. De Boni, I. Balestra, R. Ferretti, J. Schötz, J. Bös and M. Weigold
Automated Quality Inspection in Additive Manufacturing for Lightweight Construction: A New Approach Based on Virtual Sonic Data and Machine Learning (ML-S-LeAF) 
Tagungsband, Fortschritte der Akustik - DAGA 2023

 

Fritsch, Tobias; Bös, Joachim; Grollmisch, Sascha; Gourishetti, Saichand; Hofmann, Peter; Liebetrau, Judith
Intelligentes akustisches Monitoring durch ausgewählte Mikrofonierungskonzepte
Tagungsband, Fortschritte der Akustik - DAGA 2022

 

Gourishetti, Saichand ; Grollmisch, Sascha; Abeßer, Jakob; Liebetrau, Judith:
Potentials and Challenges of AI-based Audio Analysis in Industrial Sound Analysis
Tagungsband, Fortschritte der Akustik - DAGA 2022

 

Grätzel, M.; Other, S.; Stoll, B.; Rohe, M.; Hasieber, M.; Löhn, T.; Hildebrand, J.; Bergmann, J. P. (Fachgebiet Fertigungstechnik, TU Ilmenau); Kátai, A.; Breitbarth, K.; Bös, J. (Fraunhofer IDMT):
Investigation of the directional characteristics of the emitted airborne sound by Friction Stir Welding for online process monitoring
2nd International Conference on Advanced Joining Processes (AJP 2021)

 

Johnson, David S.; Lorenz, Wolfgang; Tänzer, Michael; Mimilakis, Stylianos; Grollmisch, Sascha; Abeßer, Jakob; Lukashevich, Hanna:
DESED-FL and URBAN-FL: Federated LearningDatasets for Sound Event Detection
29th European Signal Processing Conference, EUSIPCO 2021

 

Abeßer, Jakob; Gourishetti, Saichand; Kátai, András; Clauß, Tobias; Sharma, Prachi; Liebetrau, Judith:
IDMT-Traffic: An Open Benchmark Dataset forAcoustic Traffic Monitoring Research
29th European Signal Processing Conference, EUSIPCO 2021

 

Gourishetti, Saichand; Johnson, David; Werner, Sara; Kátai, András; Holstein, Peter (SONOTEC GmbH):
Partial discharge monitoring using deep neural networks with acoustic emission
Inter-Noise 2021 Congress

 

Gourishetti, Saichand; Werner, Sara; Kátai, András; Liebetrau, Judith:
The Sounds of Partial Discharge
Tagungsband, Fortschritte der Akustik - DAGA 2021

 

Holstein, Peter (SONOTEC GmbH); Gourishetti, Saichand (Fraunhofer IDMT); Fuchs, Karsten (TU Ilmenau); Berger, Frank (TU Ilmenau);  Vyas, Daxeshkumar Harikeshbhai (TU Ilmenau/SONOTEC GmbH):
Acoustics of electrical discharges
27th International Congress on Sound and Vibration, 2021

 

Grollmisch, Sascha; Cano, Estefanía:
Improving Semi-Supervised Learning for Audio Classification with FixMatch
Special Issue Machine Learning Applied to Music/Audio Signal Processing, MDPI, 2021

 

Johnson, David; Grollmisch, Sascha:
Techniques Improving the Robustness of Deep Learning Models for Industrial Sound Analysis
28th European Signal Processing Conference EUSIPCO 2020 

 

Grollmisch, Sascha (TU Ilmenau); Johnson, David und Liebetrau, Judith (Fraunhofer IDMT): 
Visualizing Neural Network Decisions for Industrial Sound Analysis
Proceedings SMSI 2020 – Sensor and Measurement Science International (Konferenz hat nicht stattgefunden)

 

Grollmisch, Sascha (TU Ilmenau); Johnson, David; Krüger, Tobias und Liebetrau, Judith (Fraunhofer IDMT): 
Plastic Material Classification using Neural Network based Audio Signal Analysis
Proceedings SMSI 2020 – Sensor and Measurement Science International (Konferenz hat nicht stattgefunden)

 

Helbig, Mareike; Clauß, Tobias; Kepplinger, Sara; Lukashevich, Hanna:
Anwendung von (Luft-)Schallanalyse als ein Verfahren der berührungslosen Qualitätssicherung für die vorausschauende Wartung
Tagungsband, Instandhaltungsforum, 22.-23. Mai 2019, Dortmund

 

Liebetrau, Judith; Grollmisch, Sascha; Nowak, Johannes:
Luftschallbasierte Rissdetektion in kleinen Metallteilen
Proceedings, 44. Deutsche Jahrestagung für Akustik (DAGA) 19.- 22. März 2018, München

 

Nowak, Johannes; Grollmisch, Sascha; Cano Estefanía; Lukashevich, Hanna; Liebetrau, Judith:
Störschallunterdrückung bei Luftschallanalysen in industriellen Fertigungsstrecken
Proceedings, 44. Deutsche Jahrestagung für Akustik (DAGA) 19.- 22. März 2018, München

 

Clauß, Tobias; Abeßer, Jakob; Lukashevich, Hanna; Gräfe, Robert; Häuser, Franz; Kühn, Christian; Sporer, Thomas:
StadtLärm – A distributed system for noise level measurement and noise source identification in a smart city environment
Proceedings, 44. Deutsche Jahrestagung für Akustik (DAGA) 19.- 22. März 2018, München

 

Veröffentlichte Audiodatensätze

Diese Datensätze dienen der wissenschaftlichen Gemeinschaft als potenzielle Benchmarks für Vergleichsexperimente.