Fraunhofer-Institut für Digitale Medientechnologie IDMT
Kognitive Ablenkung im Fahrzeug erkennen
Kognitive Ablenkung ist eine besondere Herausforderung für die Verkehrssicherheit: Fahrende können den Blick auf die Straße richten und dennoch relevante Situationen nicht bewusst wahrnehmen. Gängige Fahrerbeobachtungssysteme (Driver Monitoring Systems) erfassen vor allem einzelne sichtbare Merkmale oder kurzfristige Fahrerzustände. Für die Erkennung komplexer, multidimensionaler Zustände wie kognitiver Ablenkung reichen diese Informationen jedoch nicht aus.
Im Forschungsprojekt »SensAI« entwickeln die Fraunhofer-Institute IOSB, IMS und IDMT deshalb einen multimodalen KI-Ansatz, der verschiedene Informationen über Fahrende, Fahrzeug und Umgebung kombiniert. Ziel ist es, kognitive Ablenkung zuverlässig zu erkennen und damit neue Möglichkeiten für die Erfassung von Fahrerzuständen und zukünftige Driver-Monitoring-Systeme zu schaffen.
Neue Ansätze für die Fahrerzustandserkennung
Um komplexe Fahrerzustände wie kognitive Ablenkung zu erfassen, setzt SensAI auf multimodale KI. Kamera-, Audio- und Fahrzeugdaten werden über spezialisierte Encoder verarbeitet und für die gemeinsame Auswertung in einem multimodalen KI-System zusammengeführt. Statt einzelne Merkmale wie das Blickverhalten isoliert zu betrachten, werden so unterschiedliche Informationen über Fahrende und Fahrsituation miteinander kombiniert.
Das Fraunhofer IOSB bringt dafür seine Expertise in Computer Vision und Aktivitätserkennung ein. Das Fraunhofer IMS ergänzt die Analyse um kontaktlos aus Kameradaten erfasste Vitalparameter wie Herz- und Atemfrequenz. Das Fraunhofer IDMT erweitert das multimodale System um akustische Informationen.
Beitrag des Fraunhofer IDMT: Akustische Ereignis- und Anomalieerkennung
Im Projekt entwickelt das Fraunhofer IDMT Verfahren zur Erkennung und Klassifikation relevanter Klangereignisse und akustischer Anomalien. Dazu zählen Warnsignale sowie spontan auftretende, ablenkende Geräusche innerhalb und außerhalb des Fahrzeugs. Auch sprachliche Informationen und der akustische Kontext der Fahrsituation werden berücksichtigt.
Die gewonnenen Informationen fließen gemeinsam mit visuellen Daten, Vitalparametern und Fahrzeugdaten in das multimodale KI-System ein. So trägt die akustische Analyse dazu bei, unterschiedliche Einflussfaktoren auf den Fahrerzustand abzubilden und kognitive Ablenkung umfassender zu erfassen.
Projektziel: Demonstrator und Validierungsdatensatz
SensAI befindet sich in der Entwicklungsphase. Die beteiligten Institute bauen die Sensorik und Datenverarbeitung für eine multimodale Fahrerzustandserkennung auf und bereiten die Integration in Versuchsträger vor. Als zentrale Projektergebnisse sind ein integrierter Demonstrator, ein multimodaler Validierungsdatensatz und eine empirisch gestützte Messdefinition für kognitive Ablenkung vorgesehen.
Damit sollen Systeme zur Fahrerzustandserkennung systematisch entwickelt, verglichen und geprüft werden können. Für Fahrzeughersteller, Zulieferer und Prüforganisationen ergeben sich damit Anknüpfungspunkte unter anderem bei Sensorintegration, KI-Modellen, Datenerhebung und Validierung.
