Forschungsgruppen der Technischen Fakultät

Die Forschungsgruppe Multimodal Behavior Processing, unter Leitung von Jun.-Prof. Dr. Hanna Drimalla, widmet sich der automatischen Analyse von sozialen Interaktionssignalen (z.B. Gesichtsausdruck, Blickverhalten, Stimme etc.) unter der Nutzung von Maschinellem Lernen sowie Sprach- und Bildverarbeitung. Drei Aspekte stehen hierbei im Fokus unserer Forschung: die Erkennung von positivem und negativem Affekt, die Messung von Stress und die Analyse sozialer Interaktionsmuster. Alle drei eint, dass es sich um multimodale und zeitabhängige Phänomene handelt. Um dieser Komplexität gerecht zu werden, erheben wir innovative Trainingsdaten und entwickeln neuartige Analysemethoden.

Automatische Affekterkennung: Bisherige Lösungen zur Affekterkennung basieren auf nicht-repräsentativen und realitätsfernen Datensätzen. Der erste Schritt zur besseren Affekterkennung ist somit die Sammlung eines ausgewogenen Videodatensatzes in einer möglichst natürlichen Situation mit standardisierten Testverfahren. Mit diesem Datenmaterial entwickeln wir Algorithmen des Maschinellen Lernens zur Affekterkennung. Da es sich um Video-Datenmaterial handelt, können innovative Ansätze der Integration verschiedener Modalitäten (Stimme, Gesichtsausdruck, Blickverhalten), genutzt werden.

Computerbasierte Stressmessung: Die Messung von Stress konzentriert sich bisher vor allem auf Selbstbericht oder einzelne Parameter der physiologischen Reaktion. In verschiedenen Stressparadigmen erfassen wir das non-verbale Verhalten von Probanden zusammen mit physiologischen Markern. Zudem haben wir einen "Digitalen Stress Test" (http://www.digitalstresstest.org/) entwickelt, um online Daten zur Stressreaktivität zu erheben. Basierend auf diesen multimodalen Daten entwickeln wir Algorithmen zur automatischen Stresserkennung und validieren diese in natürlicher Umgebung.

Analyse der Sozialen Einbettung: Um die soziale Integration einer Person zu erfassen, greifen Kliniker*innen und Wissenschaftler*innen häufig auf Fragebögen zurück. Um die soziale Einbettung einer Person sensitiver und objektiver zu erfassen, arbeiten wir an der automatischen Analyse von sozialen Online-Interaktionsdaten. In einer großen Online-Studie vergleichen wir die Sensitivität dieses Ansatzes mit klassischen Fragebögen. Zudem identifizieren wir charakteristische und hilfreiche Interaktionsmuster mittels Maschinellem Lernen, um die soziale Einbettung und die Resilienz eines Probanden vorherzusagen.