Medienforensik

Vertrauenswürdige Medieninhalte

Das Fraunhofer IDMT erforscht und entwickelt verschiedene Medienforensik-Technologien zur Analyse, Erkennung und Lokalisierung von Manipulationen, Dekontextualisierung und Fälschungen in Medieninhalten (v.a. Audio). Dafür kombinieren wir verschiedene Methoden und Kompetenzen, vor allem Signalanalyse, Maschinelles Lernen, Reasoning und IT-Security-Verfahren. Ziel ist es, z. B. Journalistinnen und Journalisten, Strafverfolgungsbehörden oder Medienplattformen bei der Überprüfung von Inhalten zu unterstützen und auf diese Weise negative Auswirkungen von Desinformation, Deepfakes und die betrügerische Verwendung von manipulierten Medieninhalten zu verhindern.

Aktuelles

 

Auszeichnung / 7.8.2024

AES Best Paper Award

Luca Cuccovillo, Patrick Aichroth und Thomas Köllmer für beste Veröffentlichung auf AES International Conference on Audio Forensics 2024 ausgezeichnet.

 

Messe / 13.9.2024

Meet us at IBC 2024

Zur IBC 2024 in Amsterdam präsentieren wir unsere Audio Forensics Toolbox für Content Verifikation und Authentifizierung

 

Artikel / 21.6.2024

dpa Faktencheck

Artikel über eine Audioanalyse von Fangesängen bei der Fußball EM 2024, die wir im Auftrag der dpa für einen Faktencheck durchgeführt haben.

Desinformation als Herausforderung

Die Erstellung und Verbreitung von Desinformationen wird immer kostengünstiger und einfacher – und nimmt stetig zu. Gründe dafür sind eine stetig wachsende Menge von Medieninhalten, preiswerte Bearbeitungstools, fortgeschrittene Synthesetechniken zur Erstellung von Inhalten und vielfältige Verbreitungs- und Kommunikationswege.

Zu den bekanntesten Formen der Desinformation gehören die Dekontextualisierung, d.h. die Nutzung von authentischem Material in einem irreführenden oder unangemessenen Kontext, die Manipulation, d.h. die Veränderung von vorhandenem Material, und die Fabrikation, bei der Material von Grund auf neu erstellt wird. Zwei Begriffe, die in diesem Zusammenhang häufig verwendet werden, sind

  • Shallowfakes/Cheapfakes: Hierbei sind Medieninhalte gemeint, die durch eine Bearbeitung echter Inhalte mit dem Ziel der Manipulation oder Dekontextualisierung erstellt werden, z. B. durch Löschen oder Umstellen von Passagen, Geschwindigkeitsanpassungen. Bisher fielen die meisten Fälschungen in diese Kategorie, da sie einfach zu erstellen sind und dennoch sehr effektiv und überzeugend sein können.
  • Deepfakes: Beschreibt Medieninhalte, die mithilfe von KI generiert werden. Sie sind aktuell noch nicht so verbreitet wie Shallowfakes/Cheapfakes, aber die Verfügbarkeit und Nutzerfreundlichkeit entsprechender Technologien verbessert sich ständig und es ist absehbar, dass sie über lange Zeit große Herausforderungen für die Erkennung von Desinformationen mit sich bringen werden.

Content-Verifizierung – die Suche nach der Wahrheit

Der Prozess der Content-Verifizierung kann als eine „Suche nach der Wahrheit“ betrachtet werden, die auf dem Prinzip der Falsifikation beruht – ähnlich den Prozessen, nach denen auch wissenschaftliche Theorien und Hypothesen geprüft werden sollten. Hierzu ein konkretes Beispiel: "Gibt der vorliegende Medieninhalt ein reales Ereignis und den dazugehörigen Kontext korrekt wieder?" Um eine Frage dieser Art zu beantworten, muss es falsifizierbare Aussagen über das Material geben. Bei einer Audioaufnahme könnte dies zum Beispiel so aussehen:

„Diese Datei wurde am 6. Dezember 2022 in Amsterdam, NL, mit einem iPhone 6 und seiner Standard-Aufnahme-App aufgenommen. Die Aufnahme wurde nicht nachträglich bearbeitet. Der SHA-512-Hash der Originaldatei lautet 9f86d081 ... Die Datei wurde auf den Cloud-Dienst XYZ hochgeladen ... es wurden keine Transkodierung oder andere Änderungen vorgenommen."

Bei der Content-Verifizierung werden diese Behauptungen (die auch implizit sein können) mit Hilfe von Werkzeugen und Experten anhand von Fakten und Erkenntnissen geprüft. Je umfassender die Behauptungen sind, die überprüft und nicht widerlegt werden können, desto vertrauenswürdiger ist der Inhalt. Die menschlichen Fähigkeiten sind in Bezug auf Wahrnehmung und Schnelligkeit, die für die Durchführung einer entsprechenden Prüfung erforderlich sind, begrenzt. Deshalb entwickeln wir Lösungen und Verfahren, die den Prüfprozess unterstützen. Dazu gehören:

  • Technologien für die Analyse von Aufnahme-, Bearbeitungs- und Synthesespuren innerhalb des A/V-Materials , um zu verstehen, ob und wie das Material aufgenommen, kodiert, bearbeitet oder synthetisiert wurde. Die gewonnen Informationen werden anschließend zur Falsifizierung und insbesondere für die Erkennung und Lokalisierung von Manipulation und Synthese genutzt.
  • Technologien für die Analyse der Herkunft der Inhalte , d. h. der Beziehungen zwischen verschiedenen A/V-Inhalten, um zu verstehen, ob und wie die Inhalte wiederverwendet und transformiert wurden und in welcher Reihenfolge sie erstellt wurden (einschließlich der Erkennung von »Ursprungselementen«).
  • Technologien für die automatische Annotation von A/V-Material, um in möglichst kurzer Zeit relevantes Material für die Content Verifikation zu recherchieren, d. h. über ein bestimmtes Ereignis, eine bestimmte Person oder um Informationen über besondere Umstände abzurufen, die für den Überprüfungsprozess verwendet werden können, d. h. akustische Szenenklassifizierung und Ereigniserkennung.

Wir konzentrieren uns dabei in erster Linie auf eine breite technologische Abdeckung für den Audiobereich und arbeiten mit anderen Organisationen zusammen, die sich auf andere Aufgaben und Modalitäten spezialisiert haben. Ziel ist die Bereitstellung einer umfassenden Auswahl von Werkzeugen, die eine Überprüfung von Inhalten erweitern und beschleunigen können.

Darüber hinaus bieten wir Technologien für aktive Medienauthentifizierung an, die auf einer Kombination aus digitalen Signaturen und Signalanalyse beruhen. Die Idee: Anbieter von Inhalten signieren und „markieren" proaktiv ihre Inhalte und zugehörige Metadaten, einschließlich synthetischer Inhalte, damit andere Beteiligte ihre Authentizität nachträglich überprüfen können. Beide Ansätze, sowohl die (passive) Falsifizierung als auch die (aktive) Authentifizierung, haben jeweils Vor- und Nachteile. Wir denken, dass sich beide Ansätze keinesfalls ausschließen, sondern im Gegenteil ergänzen, und wo möglich auch gemeinsam betrachtet und eingesetzt werden sollten.

Methodik

Die medienforensische Forschung umfasst verschiedene Disziplinen, wie Signalanalyse, Maschinelles Lernen, aber auch Sicherheitsaspekte. Wir konzentrieren uns auf den Audiobereich und eine Kombination aus Signalanalyse und Maschinellem Lernen. Beide bieten spezifische und sich teilweise ergänzende Vor- und Nachteile in Bezug auf Interpretierbarkeit bzw. Erklärbarkeit, Robustheit und anderer Aspekte.

Aus unserer Sicht gibt es mehrere besonders Herausforderungen in der medienforensischen Forschung, die adressiert werden müssen:

  • Die Technologien müssen so konzipiert und entwickelt werden, dass zukünftige Anwenderinnen und Anwender befähigt werden, im Rahmen des Überprüfungsprozesses die bestmöglichen Entscheidungen zu treffen. Dazu gehört auch die Berücksichtigung von Vertrauensaspekten, vor allem von Erklärbarkeit, Adressierung von „Sample Bias“, indem eine geeignete Auswahl von Trainingsdaten sichergestellt wird, und Robustheit gegenüber Angriffen und Generalisierbarkeit. Alle Aspekte müssen durch eine systematische Evaluation unterstützt werden.
  • Wir müssen eine „Falsifikationskultur" schaffen, die sicherstellt, dass gemeinsam mit den zu überprüfenden Inhalte auch genügend Informationen bereitgestellt werden, um einen fundierten Überprüfungsprozess zu ermöglichen.
  • Wir müssen mit anderen Disziplinen zusammenzuarbeiten, die für die Desinformationsanalyse relevant sind. Dazu gehören unter anderem Textanalyse, visuelle Analyse, Analyse sozialer Netzwerke, etc. Gleichzeitig muss die Desinformationsanalyse als ein komplexes Zusammenspiel von Technologie, Markt, Gesetz und Normen verstanden werden.
  • Medienforensik ist ein Katz-und-Maus-Spiel, das kontinuierliche Forschung und Entwicklung und nachhaltige Geschäftsmodelle sowie Kooperation zwischen Unternehmen und Forschungseinrichtungen erfordert – eine Finanzierung solcher Aktivitäten ausschließlich über öffentlich geförderte Projekte wird nicht ausreichen.
  • Bias ist nicht nur eine Herausforderung für die eingesetzten KI-Technologien, sondern auch für die Menschen, die sich mit der Überprüfung von Inhalten auseinandersetzen und dafür Technologien einsetzen. Es sind organisatorische und technische Maßnahmen erforderlich, um dem entgegenzuwirken.

Ziel der Projekte REWIND (EU) und AudioTrust+ (TMWWDG) war die Entwicklung von grundlegenden Audioforensik-Technologien mit denen eine technologische Grundlage für den Forschungsbereich geschaffen wurde. Anschließend wurden die entwickelten Technologien angepasst und in DIGGER (Google DNI) insbesondere im Hinblick auf Nutzerfreundlichkeit und Verifizierungs-Workflows optimiert und in die Verifizierungsplattform TrulyMedia integriert, wo sie Journalistinnen und Journalisten zur Verfügung stehen. Das Projekt lieferte die Grundlage für weitere Arbeiten, die auch ausgewählte Vertrauenswürdigkeitsaspekte für die Erkennung von Audiomanipulationen im Projekt AI4Media (EU) umfassten.

Aktuelle Aktivitäten konzentrieren sich auf Syntheseerkennung und die Verbesserung von Manipulationserkennung und Herkunftsanalyse. Im Projekt SpeechTrust+ (BMBF) liegt der Fokus auf der Sprachsyntheseerkennung für die Anforderungen von Strafverfolgungsbehörden. Das Projekt vera.ai (EU) umfasst die Analyse der Herkunft von Inhalten, Verbesserungen der Skalierbarkeit und Forschung zur Erkennung von sprachinformierter Sprachsynthese für den Medienbereich. Das Projekt news-polygraph (BMBF) zielt schließlich darauf ab, solche Werkzeuge in eine umfassende multimodale Technologieplattform zur Desinformationsanalyse einzubetten, die auch den Einsatz von Crowdsourcing- und Empfehlungssystemen zur Unterstützung und Verbesserung der Content-Verifizierung umfasst.

Prototypen zur aktiven Medienauthentifizierung wurden bereits vor vielen Jahren in AudioTrust+ (TMWWDB) und TRA-ICT (FhG) entwickelt. Sie sollen nun in news-polygraph (BMBF) für die Anforderungen journalistischer Zwecke und in GEI§T (BMBF) zur Authentifizierung KI-basierter synthetischer Sprache für die Medienproduktion weiterentwickelt werden.

Neben den Forschungs- und Netzwerkaktivitäten im Rahmen der oben genannten Projekte ist das Fraunhofer IDMT auch im European Network of Forensic Science Institutes (ENFSI) und im European Digital Media Observatory (EDMO) aktiv.

 

Forschungsprojekt

news-polygraph

Multimodale, crowd-gestützte Technologieplattform zur Desinformationsanalyse

 

Forschungsprojekt

vera.ai

Erklärbare KI-basierte Desinformations- und Herkunftsanalyse

 

Forschungsprojekt

AI4Media

Exzellenzprojekt für KI im Medienbereich – unsere Beiträge: Audioforensik, Audio-Herkunftsanalyse, Musikanalyse, technischer Datenschutz und Empfehlungssysteme

 

Forschungsprojekt

SpeechTrust+

Erkennung von KI-basierter Sprachsynthese und Stimmverfremdung für Ermittlungsbehörden

 

Forschungsprojekt

DIGGER

Integration von Audioforensik-Werkzeugen in die Verifizierungsplattform „TrulyMedia“

 

Forschungsprojekt

GEI§T

Robuste Authentifizierung von synthetischem Audiomaterial

 

Forschungsprojekt

REWIND

REVerse engineering von audio-VIsual coNtent Data: Erkennung von Aufnahme- und Manipulationsspuren, Entwicklung eines Test-Frameworks für Medienforensik

 

Forschungsprojekt

AudioTrust+

Erweiterte Audioanalyse für Manipulationerkennung und Herkunftsanalyse

Produkte

 

Content Verification Toolbox

Advanced Tools for Audio Manipulation and Synthesis Detection

Media Verification Support

Unterstützung beim Einsatz neuester Analysetechnologien für Manipulations- und Synthesedetektion (nur bei offiziellen Anfragen z. B. für gerichtliche Gutachten und Ermittlungen, nicht für private Anfragen)

Audioforensik Forschung und Entwicklung

Maßgeschneiderte Forschung und Entwicklung: Entwicklung und Evaluation von Technologien für forensische Analysen, Audiomanipulations- und Sprachsynthesedetektion

Jahr
Year
Titel/Autor:in
Title/Author
Publikationstyp
Publication Type
2024 Calibrating neural networks for synthetic speech detection: A likelihood-ratio-based approach
Cuccovillo, Luca; Aichroth, Patrick; Köllmer, Thomas
Zeitschriftenaufsatz
Journal Article
2024 Visual and audio scene classification for detecting discrepancies in video: a baseline method and experimental protocol
Apostolidis, Konstantinos; Abeßer, Jakob; Cuccovillo, Luca; Vasileios, Mezaris
Konferenzbeitrag
Conference Paper
2024 Advancing Audio Phylogeny: A Neural Network Approach for Transformation Detection
Gerhardt, Milica; Cuccovillo, Luca; Aichroth, Patrick
Konferenzbeitrag
Conference Paper
2024 Audio Transformer for Synthetic Speech Detection via Formant Magnitude and Phase Analysis
Cuccovillo, Luca; Gerhardt, Milica; Aichroth, Patrick
Konferenzbeitrag
Conference Paper
2024 An Open Dataset of Synthetic Speech
Yaroshchuk, Artem; Papastergiopoulos, Christoforos; Cuccovillo, Luca; Aichroth, Patrick; Votis, Konstantinos; Tzovaras, Dimitrios
Konferenzbeitrag
Conference Paper
2024 Generative AI and Disinformation
Bontcheva, Kalina; Papadopoulous, Symeon; Tsalakanidou, Filareti; Gallotti, Riccardo; Dutkiewicz, Lidia; Krack, Noémie; Nucci, Francesco Severio; Spangenberg, Jochen; Srba, Ivan; Aichroth, Patrick; Cuccovillo, Luca; Verdoliva, Luisa
Paper
2023 MAD'23 Workshop Chairs' Welcome Message
Cuccovillo, Luca; Ionescu, Bogdan; Kordopatis-Zilos, Giorgos; Papadopoulos, Symeon; Popescu, Ana Maria
Konferenzbeitrag
Conference Paper
2022 MAD 2022, 1st International Workshop on Multimedia AI against Disinformation. Proceedings
Tagungsband
Conference Proceeding
Diese Liste ist ein Auszug aus der Publikationsplattform Fraunhofer-Publica

This list has been generated from the publication platform Fraunhofer-Publica