SpatialAV – Intelligent, Modular, Multi-Sensory Recording and Production System for Immersive Audiovisual Media

Die Produktion von 3D-Filmen für Kino und Rundfunk ist aufwendig und kostspielig. Um Arbeitsabläufe bei der Filmproduktion zu automatisieren, hochwertigen 3D-Content zu erzeugen, aber dennoch die technischen Produktionskosten gering zu halten, forschten vier Fraunhofer-Institute der Fraunhofer-Allianz »Digital Cinema« gemeinsam im Projekt »SpatialAV«.

Ziel des Projekts war die Entwicklung von intelligenten und modular aufgebauten Aufnahme- und Produktionstechnologien zur Erstellung von räumlichen audiovisuellen Medien. Die gemeinsame Forschungsarbeit beinhaltete dabei sowohl die Arbeit an intelligenten 3D-Audiotechnologien als auch die Entwicklung neuartiger Werkzeuge zur Produktion von 3D-Videoinhalten. In Verbindung mit intelligenten und vernetzten Kameras, Mikrofonen und Sensoren wird das System nun für eine Vielzahl von unterschiedlichen Produktionsszenarien genutzt.

Aufgabenbereich Fraunhofer IDMT

Im Rahmen des Projekts SpatialAV bearbeitete das Fraunhofer IDMT das Thema 3D-Audio. Für verschiedene Multikameraszenarien wurden geeignete Aufnahme- und Produktionstools entwickelt sowie die nötige Infrastruktur zur Erstellung von dreidimensionalen audiovisuellen Inhalten bereitgestellt.

Das Fraunhofer IDMT arbeitete an Aufnahmetechnologien und Produktionswerkzeugen, mit deren Hilfe klanglich hochwertige und räumlich präzise Audioaufnahmen realisiert werden können. Um Regisseuren die Möglichkeit zu bieten, aufgezeichnetes 3D-Audiomaterial direkt am Aufnahmeort anzuhören und zu überprüfen, entstand darüber hinaus ein kompaktes und portables 3D-Audio-Wiedergabesystem, bestehend aus Lautsprechern und Kopfhörern. Außerdem entwickelte das Fraunhofer IDMT geeignete und flexible 3D-Audio-Datenformate, um die effiziente Speicherung, Übertragung und Wiedergabe von Tonaufnahmen auf verschiedenen Wiedergabesystemen sowie die weitere Bearbeitung der Daten zu ermöglichen. Weiterhin wurden Algorithmen entwickelt und präzise Untersuchungen durchgeführt, um die räumliche Wahrnehmung visueller und auditiver Inhalte bei der Wiedergabe automatisch aufeinander abzustimmen.

Förderer:

Fraunhofer WISA
 

Partner:

Fraunhofer-Institut für Integrierte Schaltungen IIS

Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS

Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz Institut HHI

Laufzeit

2012-2014