|
Im Fokus von Theseus steht die Entwicklung und Erprobung von Basistechnologien, Standards und Anwendungen, die die inhaltliche Bedeutung von Informationen (Wörter, Bilder, Töne) erkennen und einordnen können. So kann mit Hilfe von Computerprogrammen nachvollzogen werden, in welchem Kontext Daten genutzt und verarbeitet werden. Darüber hinaus können Computer durch Anwendung von Regeln und Ordnungsprinzipien aus den Inhalten logische Schlüsse ziehen und selbständig Zusammenhänge zwischen unterschiedlichen Informationen aus mehreren Quellen erkennen und herstellen.
Die Aufgabe des Fraunhofer IDMT ist es vor allem, die in Theseus entwickelten Technologien – zum Beispiel Sprach- und Bilderkennung, Nutzerschnittstellen sowie die automatische Zuordnung von Metadaten – im Hinblick auf ihre Qualität zu beurteilen und zu bewerten. Dieser Evaluationsprozess generiert Rückmeldungen, die von den Entwicklern und Partnern in iterativer Anwendung im Design- und Entwicklungsprozesses verwendet werden können. Zusätzlich wird die Evaluation einen Beitrag zur Verbesserung der Evaluationstechniken und zur Entwicklung von Standards liefern.
Die Teilaufgaben der Evaluation:
Evaluation von Textanalyse
Im Rahmen der Textanalyse-Verfahren wird ein Erkennungssystem für Handschriften evaluiert.
Das System soll gegen unbekannte und veränderte (z. B. verzerrte) Daten geprüft und es soll die Erkennungsrate des Systems untersucht werden. Zusätzlich ist ein Vergleich mit anderen Texterkennungssystemen auf öffentlichen Datenbanken angedacht. Aufgrund der Besonderheit, dass a Priori Wissen für die Erkennung verwendet wird, wird besonderes Augenmerk auf die Auswahl geeigneter Testdaten gelegt.
Evaluation von Bild- und Videoanalyse & Retrieval
Eine der Herausforderungen der Evaluation von Verfahren zur Bild- und Videoanalyse innerhalb von THESEUS besteht in der Vielfalt der zu untersuchenden Algorithmen und Ansätze. Hierzu gehören z. B. Bild- und Videosegmentierung, Szenen-Klassifikation, Gesichts-Detektion, Videogenre-Klassifikation und automatische Qualitätsbewertungen.
Basierend auf dem umfangreichen Know-how im Bereich Multimedia Retrieval am Fraunhofer IDMT wird im Rahmen der Evaluation ein System geschaffen, welches zur Bewertung der unterschiedlichen Verfahren herangezogen wird. Die Schwerpunkte dieses Systems liegen zum einen auf der einfachen und flexiblen Erweiterbarkeit der Daten bezüglich der Formate und Evaluationskenngrößen. Im Mittelpunkt stehen darüber hinaus die Datensicherung von Testergebnissen für anschließende Vergleichsprozesse und die anspruchsvolle Visualisierung von Ergebnissen zur interaktiven Untersuchung und Bewertung
sowie zum Erstellen von aussagekräftigen Testergebnisdarstellungen.
Zur Analyse der einzelnen Test-Datensätze werden alle Verfahren, die Gemeinsamkeiten bezüglich der Evaluation aufweisen, zu Gruppen zusammengefasst.
Mögliche Testszenarien sind z. B. die Suche (Retrieval) oder Klassifikation von Multimedia-Daten. Das so genannte »Retrieval« beschreibt ein Szenario, bei dem eine Multimedia-Datei zur Suche ähnlicher Dateien benutzt wird. Ergebnis ist eine Liste von zugehörigen Files, die eine spezifische Ähnlichkeit zum Anfrage-Dokument aufweisen. »Klassifikation« beschreibt in diesem Zusammenhang ein Szenario, bei dem eine Multimedia-Datei verarbeitet wird und eine Beschreibung dessen generiert wird. Diese Beschreibung kann beschreibende Stichworte oder aber beschreibende Informationen zu Segmenten, wie z. B. im Falle der Gesichts-Detektion sein. Abhängig von dem gewählten bzw. geeigneten Testszenarien stehen verschiedene Evaluationskenngrößen zur Verfügung, die zur Ergebnisbewertung eingesetzt und visualisiert werden können.
Evaluation von Audio und Video Watermarking
Durch Watermarking-Technologien werden zusätzliche Informationen in Multimediadaten (Bild, Video, Audio) so eingebettet, dass sie durch den Menschen nicht wahrnehmbar sind. Dies dient beispielsweise zur Sicherung des Copyright von Bildern und Musikstücken. Eine wichtige Eigenschaft von Wasserzeichen ist hierbei die Robustheit gegenüber Veränderungen des Trägermediums.
Bei den Tests zur Robustheit von Watermarking-Algorithmen steht die Überprüfung der Resistenz der Multimediadaten gegenüber Veränderungen durch Reproduktions-, Encoding- und Übertragungsprozessen im Vordergrund. Im ersten Schritt werden die Daten Signalbearbeitungsprozeduren unterzogen und im Anschluss die Detektierbarkeit der Wasserzeichen überprüft. Zudem werden im Laufe des Projekts die Signalbearbeitungsprozeduren ergänzt und an die speziellen Anforderungen des THESEUS Programms angepasst.
Qualitätsbewertungen und Nutzertests für Audio- und Videocodierung & Watermarking
Bei der Verwendung von Watermarking-Technologien werden einem Signal andere Signalteile beigefügt, die möglichst unsichtbar bzw. unhörbar sein sollen. Durch eine messtechnische Analyse können diese Ergänzungen zwar detektiert aber nicht zwingend in ihrer Beeinflussung auf die wahrgenommene Qualität bewertet werden. Mit Hilfe von Hörtests bzw. visuellen Tests ist man in der Lage die Beeinflussung der Qualität durch ein Wasserzeichen zu überprüfen. Die Evaluierung wird dabei anhand genormter Prozeduren wie beispielsweise dem A-B-X Vergleich durchgeführt.
Die subjektive Qualitätsbeurteilung von Audio- und Videocodierung wird anhand von etablierten Standards der ITU-R und anderen Organisationen durchgeführt. Durch die Ausstattung des Fraunhofer IDMT mit modernen und normgerechten Testräumen (ITU-R BS.1116/ EBU tech 3276) kann eine hohe Präzision der Evaluierung gewährleistet werden.
Evaluation des iterativen Systemdesigns und der Anwendungsqualität
Die Aufgabe dieses Tasks ist es, anhand eines iterativen Systemdesigns die Qualität der Technologien und Entwicklungen aus den Work Packages (WP) »Ontology Management (WP3)«, »Situation Aware Dialog Shell for Semantic Access to Media and Services (WP4)«, »User Interfaces and Visualization (WP5)« und »Statistical Machine Learning (WP6)« zu sichern. Die Entwicklungen aus den genannten Work Packages werden außerdem gegen etablierte Standards bezüglich des benutzerbezogenen Designs, der Zugänglichkeit sowie der Softwarequalität getestet. Außerdem werden die Entwicklungen mit den Anforderungen und den aktuellen State-of-the-art Technologien verglichen. Dabei werden Basiskriterien für die Evaluation bewertet, insbesondere die technische Qualität der Technologien, die Gebrauchsqualität und die Nutzerzufriedenheit. Sowohl hochmoderne Evaluationstechniken als auch traditionelle partizipative Evaluationsansätze kommen während des Evaluationsprozesses zum Einsatz.
Die in WP3 entwickelten Komponenten zum Design, Mapping und der Evolution von Ontologien wie auch das automatische Reasoning von Ontologien werden nach pragmatischen Kriterien und leistungsbezogenen Gesichtspunkten wie Geschwindigkeit und Skalierbarkeit bewertet.
In WP4 werden semantische Verbindungskomponenten entwickelt, die individuell evaluiert werden können. Basierend auf verschiedenen Standards und einem multimodalen Evaluationskonzept wird eine globale Evaluation jedoch noch bessere Resultate liefern.
In WP5 werden Visualisierungskomponenten entwickelt, die in Zusammenarbeit mit anderen Tasks und Work Packages evaluiert werden. Als Basis zur Evaluation dienen die Anforderungen aus den Anwendungsfällen und die Spezifikationen der verwendeten Standards (benutzerbezogenes Design, Qualität, etc.). Durch eine methodenbasierte Evaluation werden die Komponenten des statistischen maschinellen Lernens aus WP6 evaluiert. Die Methode berechnet geeignete Metriken und vergleicht sie mit den Werten von aktuellen State-of-the-art-Technologien und den Spezifikationen aus den Anforderungen. Unter Einbeziehung der Benutzer und Stakeholder ist auch eine partizipative Evaluation möglich. Weitere Evaluationskriterien sind z. B. die Skalierbarkeit, die Antwortzeiten oder der Datendurchsatz.
Evaluation von Privacy und Security
Eine Evaluation in Bezug auf Privacy- und damit verbundene Security-Aspekte findet bei folgenden Arbeitspaketen statt:
- Cross-Platform, interoperable Digital Rights Management
- Watermarking
- Conditional Access & Content Protection, Encryption
- Labeling, Filtering and Identification Technology
Der Task beschäftigt sich mit der Untersuchung von (Teil)Systemen mit Hinblick auf Aspekte des Datenschutzes überall dort, wo sensible Informationen kommuniziert bzw. verarbeitet werden. Um mögliche Probleme bzgl. des Datenschutzes zu identifizieren, wird dabei ein holistischer Ansatz verfolgt, der technische, organisatorische, rechtliche und ökonomische Aspekte einschließt. Nach der Analyse des Systems bzw. seiner Komponenten und den entsprechenden Datenflüssen werden verschiedene Privacy-Kriterien ausgewertet, u. a.:
- Datenminimierung
- Transparenz
- Multilaterale Sicherheit
- Systemintegration und
- Nutzerverantwortung
Dabei werden mögliche Probleme identifiziert und – wo möglich – geeignete Vorschläge bezüglich organisatorischer und technischer Verbesserungsmaßnahmen und deren Integration gemacht.
|
