Fraunhofer-Institut für Digitale Medientechnologie IDMT
Fraunhofer-Institut für Digitale Medientechnologie IDMT

Facial Analysis Technologies

KI-basierte Technologien zur Analyse von Gesichtern

Das Gesicht ist das wichtigste äußerliche Kennzeichen eines Menschen und besteht aus einer einzigartigen Kombination von individuellen Merkmalen. Anhand dieser Merkmale lassen sich nicht nur bekannte von unbekannten Personen unterscheiden. Sie helfen auch dabei, Alter, Geschlecht oder Gemütszustand des Gegenübers einzuschätzen.

Die Facial Analysis Technologies des Fraunhofer IDMT ermöglichen die automatische Gewinnung zahlreicher Informationen aus Bild- und Videoaufnahmen von Gesichtern. So können Merkmale extrahiert werden, die für die Erkennung bzw. Wiedererkennung von Personen, aber auch für die Unterscheidung z. B. nach Alter oder Geschlecht genutzt werden können. 

Für die Facial Analysis Technologies kombinieren wir etablierte Verfahren und Methoden des maschinellen Lernens, die je nach Anwendungsfall zusammengestellt, optimiert und bei Bedarf individuell trainiert werden. 

Daraus ergeben sich vielfältige Nutzungsmöglichkeiten wie die automatisierte Erkennung und Detektion von Schauspielerinnen und Schauspielern in Videos oder auf Fotos, die Erkennung von korrekt getragenen Mund-Nasen-Bedeckungen oder die Identifikation von Menschenaffen zum Artenschutz.Weitere interessante Anwendungsmöglichkeiten entstehen durch die Kombination der Facial Analysis Technologies mit anderen KI-basierten Technologien, wie z. B. visueller Objekt- und Szenenklassifikation oder Audio-Ereignis-Erkennung.

Wir verzichten auf die Nutzung von Cloud-services, um den hohen Anforderungen an Daten- und Persönlichkeitsschutz gerecht zu werden.

Funktionen

  • Detektion von Gesichtern und Extraktion von Gesichtsmerkmalen
  • Schätzung der Kopfhaltung (Head Pose Estimation)
  • Erzeugung von Face Embeddings / Fingerprints für die Gesichtserkennung
  • Klassifikation von Attributen, z. B. Geschlecht, Alter
  • Tracking von Gesichtern in Videos und Auswahl repräsentativer Frames für weiterführende Analysen
  • Face Clustering: Gruppierung nach ähnlichen Gesichtern in ungelabelten Daten
  • Face Search: Finden der ähnlichsten Gesichter in ungelabelten Daten für eine konkretes Beispiel
  • Face Verification: Prüfen, ob ein Gesicht in einer Datenbank enthalten ist oder nicht
  • Face Recognition: Erkennung von bestimmten Personen in einer Datenbank mit gelabelten Daten

 

Unser Leistungsangebot

  • Maßgeschneiderte Entwicklung und Integration von Software-Lösungen zur Gesichtsanalyse
  • Kundenspezifisches Training von Modellen und deren Bereitstellung
  • Evaluierung und Benchmarking von Verfahren und Lösungen rund um Gesichtsanalyse und maschinelles Lernen

 

Produkte und Anwendungen

Audiovisual Identity Suite

Die Audiovisual Identity Suite ist ein umfassendes Toolkit, mit dem Sie das Potenzial Ihres Medienarchivs voll ausschöpfen können. Die simultane Gesichts- und Sprechererkennung ermöglicht die schnelle Lokalisierung und Identifizierung von Personen und Stimmen in umfangreichen Videoarchiven. Darüber hinaus kann eine Auswertung auf Basis von Gesicht und Stimme durchgeführt werden, die das Auftreten von weiblich und männlich wahrgenommenen Personen untersucht (Gender Classification). Diese Funktion kann unter anderem detaillierte Analysen zu Diversität und Inklusion in Medieninhalten ermöglichen.

MaskCognizer

Die KI-basierte Maskenerkennung »MaskCognizer« erkennt in Echtzeit, ob Personen ihre Mund-Nasen-Bedeckung korrekt tragen und gibt eine entsprechende Rückmeldung. Darüber hinaus bieten wir weitere Lösungen, die das Einlassmanagement und das Monitoring von Kunden- und Besucherströmen in Geschäften, Restaurants oder anderen Einrichtungen datenschutzkonform unterstützen können.

IDCheck

Der KI-basierte IDCheck erleichtert den automatisierten Zutritt zu Gebäuden oder das Einlassmanagement bei Veranstaltungen. Er verifiziert zuverlässig und schnell die Identität einer vorbeigehenden Person durch den visuellen Abgleich einer Fotoaufnahme mit einem Identitätsdokument und prüft gleichzeitig die Übereinstimmung mit einem weiteren Zutrittsdokument wie einem personalisierten Ticket, Impfzertifikat oder Mitarbeitendenausweis. 

Open Source Intelligence (OSINT)

Die Facial Analysis Technologies helfen dabei, bestimmte Personen in Bild- und Videodaten aus verschiedenen Quellen wiederzuerkennen. Dies wird unter anderem im EU-Projekt SPIRIT zur Entwicklung von neuartigen Ansätzen zur datenschutzkonformen Rückführung von virtuellen auf reale Identitäten genutzt, die in der polizeilichen Ermittlungsarbeit zur »Intelligence Analysis« eingesetzt werden können.

Automatische Annotation von Medieninhalten

Die automatische Detektion und Identifikation von Gesichtern unterstützt die Erstellung von Metadaten für große Bild- und Videoarchive. So erkennt und detektiert die Actor Recognition-Software automatisiert Personen in Videos oder auf Fotos. Das ermöglicht zum Beispiel das schnelle Wiederfinden von Bild- und Videosequenzen mit bekannten Personen in großen Medien- und Rundfunkarchiven.

Biodiversitäts-Monitoring

Zum Artenschutz erforschen Wildhüter u. a. mit Videofallen die Verhaltensweisen von Tieren, die vom Aussterben bedroht sind. Im Projekt SAISBECO wurde eine Identifizierungssoftware entwickelt, mit der sich die Aufnahmen automatisiert nach Sequenzen mit Menschenaffen durchsuchen und einzelnen Individuen zuordnen lassen. In Zoos und Wildparks lassen sich Edutainment-Angebote und interaktive Tierbeobachtungsstationen damit umsetzen.