Sprachverständlichkeit analysieren und optimieren

Die Sprachaktivitätserkennung (»Speech Activity Detection«, SAD) des Fraunhofer IDMT identifiziert zuverlässig Sprechanteile in Audiosignalen. Beispielsweise erleichtert die Technologie den Workflow von Tonschaffenden, da Sprache beim Editieren auch ohne das Anhören aller Passagen leicht gefunden wird. Als Feature »Dialog Detection« hielt die Technologie Einzug in Steinbergs Postproduktions-Software Nuendo. Sie kommt ebenfalls in weiteren Lösungen des Oldenburger Institutsteils zum Einsatz, wie in der hauseigene Sprach- und Sprechererkennung, bei Störgeräuschbefreiungsalgorithmen oder als Privacy Filter. Die SAD kann eingesetzt werden, damit in der Audioverarbeitung nichtsprachliche Anteile herausgefiltert werden. Umgekehrt kann sie dafür sorgen, dass Sprache gar nicht erst aufgezeichnet wird und so die Privatsphäre von Nutzerinnen und Nutzern, zum Beispiel im öffentlichen Raum, geschützt ist.

mit der LEAP-Technologie (Listening Effort Prediction for Acoustic Parameters)

Die Forschenden am Fraunhofer IDMT in Oldenburg haben durch Verknüpfung von maschinellem Lernen und psychoakustischer Modellierung neue Technologien entwickelt, um die Höranstrengung für einzelne Audiopassagen objektiv und in Echtzeit zu messen und zu visualisieren. Dadurch kann beispielsweise eine gleichbleibend gute Sprachverständlichkeit in Medienproduktionen und -streams überprüft werden. In verschiedenen Produktionslösungen unterstützt die Technologie bereits Tonschaffende bei der Postproduktion, etwa als Plug-in »LE-Meter« von NUGEN Audio, als »Speech Intelligibility Meter« in der hardwarebasierten Audiomessplattform von RTW oder der Produktionslösung Nuendo des Anbieters Steinberg.

Die Algorithmen basieren auf aktuellen Forschungserkenntnissen am Hörstandort Oldenburg. Sie wurden in den letzten Jahren mehrfach evaluiert und anhand formaler Hörtests mit Probandinnen und Probanden verschiedener Altersklassen validiert. 

mit den PSIO-Technologien (Personal Speech Intelligibility Optimization)

Verschiedene Signalverarbeitungsverfahren des Fraunhofer IDMT können kombiniert werden, um die Sprachverständlichkeit zu verbessern. Die zuvor erläuterten Echtzeit-Vorhersagemodelle erkennen Sprachaktivität und identifizieren die objektive Höranstrengung für ein Audiosignal (z. B. ein ausgestrahltes Video). Sprachseparationstechnologien trennen Sprachinhalte von Hintergrundgeräuschen und teilen sie in zwei Klangobjekte auf, die unabhängig voneinander bearbeitet werden können. Hintergrundmusik und Soundeffekte könnten beispielsweise nach persönlichen Hörpräferenzen oder -bedürfnissen reduziert werden, um eine bessere Verständlichkeit von Dialogen zu erzielen.

Die Technologien eignen sich optimal für den Einsatz in der Medienproduktion, sowohl bei Live-Ausstrahlungen als auch in der Postproduktion. Auch Mediatheken, Streaming-Dienste oder Kommunikationsdienstleister können ihren Kunden Mehrwerte bieten, wie z.B. alternative Sound Tracks mit verbesserter Verständlichkeit bis hin zu personalisierbaren Lösungen in Endgeräten. 

Zusätzlich kann die adaptive Signalverarbeitung das Sprachsignal verbessern, wenn die technische Übertragung von Sprache von Störgeräuschen und Hall überlagert ist. Gerade wenn es darauf ankommt, zum Beispiel in Einsatzleitzentralen, Durchsagesystemen (Public Address Systems) oder Konferenz- und Telefonielösungen, sollte kein Wort verloren gehen.

Eine weitere Technologie des Fraunhofer IDMT ermöglicht die individuelle Anpassung von Sprach- und Hintergrundgeräuschen anhand eigener Klangpräferenzen, um ein personalisiertes Hörerlebnis zu schaffen. In Form eines besonders einfachen und eleganten Verfahrens kann Klang und Dynamik personalisiert werden, ohne dass sich die Anwendenden mit komplexen Sub-Menüs oder Parametern beschäftigen müssen.

Die sogenannte »YourSound« Technologie wird bereits für die individuelle Konfiguration von Medienwiedergaben in Automobilen und Kopfhörern eingesetzt. Einmal über eine intuitive Bedienoberfläche eingestellt, wirken sich die personalisierten Parameter positiv auf den Gesamtklang aus. Dadurch ergibt sich ein besseres Hörerlebnis, egal bei welcher Wiedergabelautstärke und Fahrsituation. Der Klang von Musik und Filmen ist dank der Fraunhofer-Algorithmen optimal an die individuellen Soundvorlieben angepasst.