Technologien und Lösungen

© istock.com/Andrey Tsidvintsev

Das Fraunhofer IDMT entwickelt innovativen Technologien zur automatischen Analyse von audiovisuellem Material. Integriert in bestehende Systeme und Anwendungen helfen sie Broadcastern und digitalen Archiven das Potenzial ihrer Inhalte voll auszuschöpfen.

A/V Matchingund Phylogeny

Mit Hilfe der einzigartigen Kombination von A/V-Matching- und Phylogenie-Analyse-Tools lassen sich wiederverwendete Medieninhalte und Überschneidungen in Audio- und Videodatensätzen automatisiert identifizieren. Sie ermöglichen es außerdem, die Verarbeitungshistorie und die Beziehungen zwischen den verwendeten Inhalten zu verstehen und so zwischen Originalinhalten und transkodierten Inhaltskopien unterscheiden zu können.

Metadaten Extraktion und Anreicherung

Das Fraunhofer IDMT bietet Verschiedene Technologien zur Metadaten-Extraktion für die effiziente Annotation von A/V-Inhalten, z. B. Sprach- und Musikerkennung, Musikannotation und Ähnlichkeit, Video Motion Analysis, Shot Detection und Object- und Actor Recognition.

Audio

Video

Audio Forensics

Die Aufnahme, Kodierung und Bearbeitung hinterlässt oft charakteristische Spuren im Audiomaterial. Die Audioforensik-Werkzeuge des Fraunhofer IDMT helfen bei der Analyse solcher Spuren und der entsprechenden Bearbeitungsschritte. Ob Material wiederverwendet wurde, lässt sich mit Hilfe von Matching-Verfahren detektieren. Das unterstützt Broadcaster, Medienproduktion und -archive bei Qualitätsprüfungen, der effizienteren Annotation von Metadaten und Echtheitsprüfungen von Audiomaterial.

Automatic Quality Control (QC)

Die A/V Error Detection Libraries ermöglichen die automatisierte Erkennung von audio-visuellen Fehlern und Qualitätsproblemen in A/V-Produktionen, bei der Datenverwaltung oder in Archiven. Erkannt werden u. a. visuelle Artefakte wie Blockartefakte, Unschärfe, Ringing, Rauschen usw. und Audioartefakte wie Clipping, Dropout, Phasenverschiebung, Channel Similarity oder Low-Bitrate Encoding.

Multimodale Analyse und Empfehlung

Um komplexe Abfragen zu ermöglichen, benötigen Mediensysteme verschiedenen heterogenen Analysekomponenten. Das Open-Source-Framework MICO vereinfacht die effiziente Integration und flexible Orchestrierung von Extraktoren.

Media Security and Privacy

Das Fraunhofer IDMT hat einen einzigartiges Verfahren entwickelt, das entkoppelte virtuelle IDs zu realen IDs in einem System erzeugt, um Datenquellen effektiv zu schützen. Das ermöglicht den Schutz der Privatsphäre bei der Datenanalyse und -empfehlung sowie eine gemeinsame Datennutzung unter Wettbewerbern.