Forschungsansatz für mehr Verkehrssicherheit: Kognitive Ablenkung mit multimodaler KI erkennen

Der Blick ist auf die Straße gerichtet – doch die Gedanken sind längst woanders. Kognitive Ablenkung zählt zu den zentralen Unfallursachen im Straßenverkehr und bleibt bislang weitgehend unerkannt. Optische Aufmerksamkeitsanalysen oder klassische Müdigkeitserkennungssysteme reichen nicht aus, um mentale Abwesenheit, innere Belastung oder Überforderung zuverlässig zu erfassen. Genau hier setzt der neue Forschungsansatz SensAI an: Ziel ist die Entwicklung eines KI-gestützten, domänenspezifischen Modells zur Erkennung kognitiver Zustände im Fahrzeug – datenschutzkonform, multimodal und in Echtzeit.

Multimodale Sensorik als Schlüssel zur Modellierung des kognitiven Zustands von Fahrenden

Kognitive Ablenkung zeigt sich selten in einem einzelnen Signal. Erst das Zusammenspiel verschiedener Sensordaten macht es möglich, ein ganzheitliches Bild des Zustands des Fahrenden zu erzeugen. Der Forschungsansatz integriert akustische, visuelle, physiologische und fahrzeuginterne Informationen in ein KI-Modell, das Veränderungen in der Aufmerksamkeit erfasst und bewertet.

Das Fraunhofer IDMT bringt dazu seine Expertise in der akustischen Ereigniserkennung (Acoustic Event Detection, AED) und der akustischen Anomalieerkennung (Acoustic Anomaly Detection, AAD) ein:

• Mit AED werden spezifische Geräusche wie Sprache, emotionale Stimmlagen, Fahrzeuggeräusche oder Sirenen erkannt und klassifiziert.
• AAD ergänzt diese Verfahren um die Detektion unvorhergesehener akustischer Abweichungen, die auf technische Störungen oder äußere Einflüsse hinweisen können.

Verstehen kognitiver Zustände – multimodal und intelligent

Das SensAI-Projekt basiert auf einem interdisziplinären Verbundansatz, bei dem verschiedene Fraunhofer-Institute ihre technologischen Stärken bündeln:

• Computer Vision erkennt Blickverhalten, Körperhaltung, Aktivitäten und Objektinteraktionen. (Fraunhofer IOSB)
• Akustische Sensorik erkennt Ereignisse, wie z. B. Fahr- und Störgeräusche im Innen- und Außenraum sowie Sprache (Fraunhofer IDMT)
• Bildbasierte Vitaldatenerfassung ermöglicht die Ableitung von Atmung und Puls direkt aus Kameradaten. (Fraunhofer IMS)

Durch die Zusammenführung dieser Daten entsteht ein intelligentes Zustandsmodell – ein digitaler Zwilling des kognitiven Zustands der fahrenden Person. Dieser erfasst nicht nur offensichtliche Ablenkung, sondern auch unterschwellige mentale Belastung. Ziel ist es, kognitive Ablenkung automatisiert und zuverlässig zu erkennen – und damit den Weg zu sichereren, adaptiven Fahrerassistenzsystemen und In-Cabin-Technologien zu ebnen.