MERAG

Reconnaissance multimodale des émotions pour le jeu adaptatif basée sur une solution de bout en bout utilisant un bracelet connecté

Le projet vise à mesurer les émotions des joueurs à partir des signaux physiologiques mesurés par le bracelet intelligent Ovomind et des informations contextuelles obtenues à partir de vidéos d'écran. Cela sera réalisé en développant des algorithmes d'apprentissage profond multimodaux qui seront intégrés dans un software development kit (SDK) dédié aux développeurs de jeux.

De nos jours, le développement de «wearables» physiologiques est devenu un domaine en pleine expansion. Cependant, la qualité des signaux collectés par ces biosenseurs reste un défi majeur. Les technologies portables actuelles mettent fortement l'accent sur la santé et le bien-être, bien qu'elles pourraient être utilisées dans d'autres domaines tels que le divertissement. Ce projet se concentre sur la mesure de l'expérience et des émotions des utilisateurs dans le contexte des jeux vidéo.

Bien que les dispositifs de reconnaissance des émotions physiologiques atteignent une précision raisonnable en laboratoire, cela est moins vrai dans un cadre écologique. Cela peut s'expliquer par deux facteurs: la quantité de bruit dans les mesures traditionnelles des biosenseurs et le manque d'informations contextuelles provenant des événements du jeu. Par conséquent, l'objectif du projet est d'améliorer la qualité des signaux collectés par les biosenseurs Ovomind et de déterminer automatiquement les informations contextuelles des jeux vidéo.

Des méthodes d'apprentissage profond multimodal sont développées pour (i) identifier et corriger les signaux physiologiques bruyants, et (ii) identifier le contexte à partir des vidéos de jeu. Cette approche sera validée en mesurant l'impact des deux méthodes sur la performance de reconnaissance des émotions. Une quantité importante de données est obtenue en combinant des bases de données existantes avec des données collectées pendant le projet auprès de joueurs jouant à leurs jeux chez eux.

Ce partenariat scientifique permet de créer de la valeur en contribuant à l'avancement des «wearables» et en améliorant la fiabilité des bracelets intelligents biosensibles Ovomind. Le projet produira de nouvelles perspectives et percées qui stimuleront l'innovation en fournissant un kit de développement logiciel émotionnel pour les développeurs de jeux, afin qu'ils puissent créer une nouvelle génération de jeux vidéo qui améliorent l'expérience des joueurs. Le projet aura également le potentiel de générer des avantages commerciaux significatifs, tels qu'une augmentation des revenus et de la part de marché, en permettant le développement de nouveaux produits.

Soutenu par Innosuisse, ce projet est une collaboration entre le laboratoire SIMS de l'institut inTECH à HEPIA, le département d'informatique de l'Université de Genève et la société Ovomind SA.