Intérêts de recherche
• Intégrer une dimension sociale et émotionnelle dans les machines pour améliorer l'interaction avec l'utilisateur
• Gérer les émotions de l'utilisateur
• Personnifier les personnages virtuels et les robots humanoïdes
• Modéliser le comportement verbal et non verbal des agents virtuels et physiques

Domaines d'application
• Télécommunication
• Jeux vidéo
• Média Interactif
• Robotique

Lors de son interaction avec un ordinateur, l'utilisateur ressent de nombreuses émotions tant positives (joie, soulagement, …) que négatives (frustration, énervement, …) (Picard, 1997). Aujourd'hui, dans la plupart des interactions humain-machine, la relation émotionnelle est unilatérale : la machine n'est pas capable d'exprimer ou de prendre en compte les émotions de l'utilisateur. Une relation émotionnelle humain-machine se définit comme un ensemble d'interaction durant lesquelles l'utilisateur et l'agent virtuel prêtent attention aux émotions de chacun, communiquent leur émotions, expriment de l'empathie et établissent ainsi un lien (Stern, 2003). Nos recherches visent à apporter aux personnages virtuels les connaissances nécessaires pour créer une relation émotionnelle avec l'utilisateur. En d'autres termes, il s'agit de créer des personnages virtuels capables d'appréhender les émotions de l'utilisateur, d'y répondre et d'exprimer leurs propres émotions. Dans les relations interpersonnelles, ces capacités constituent des composantes de l'intelligence émotionnelle (Salovey et al., 2000). Les premiers résultats de recherche montrent que l'ajout de fonctions pour doter un système computationnel de capacités d'intelligence émotionnelle permet d'améliorer l'interaction humain-machine (Bartneck, 2002; Brave et al., 2005; Klein et al., 1999; Prendinger et al., 2005; Picard et al., 2007).

Dans le cadre de mes travaux de thèse dirigés par Catherine Pelachaud (Directrice de Recherche CNRS, LTCI) et David Sadek (Directeur délégué à la recherche, Orange Labs), nous avons travaillé sur la modélisation, la formalisation et la mise en oeuvre d'un agent rationnel dialoguant émotionnel empathique. Notre objectif était de concevoir un agent virtuel capable d'exprimer des émotions d'empathie envers l'utilisateur durant le dialogue. Plusieurs recherches récentes tendent, en effet, à montrer que les agents virtuels capables d'exprimer des émotions d'empathie permettent d'améliorer l'interaction humain-machine (Brave et al., 2005, Picard et al., 2007; Prendinger et al., 2005). De tels agents doivent connaître dans quelles circonstances quelles émotions peuvent apparaître durant l'interaction. Pour ce faire, une analyse exploratoire de situations de dialogues réels humain-machine ayant amené l'utilisateur à exprimer des émotions a été réalisée. Les résultats obtenus ont été examinés à la lumière des descriptions théoriques des émotions en psychologie cognitive (Ortony et al., 1988; Roseman, 1991; Scherer, 1988) afin d'identifier les types d'émotions pouvant apparaître durant un dialogue humain-machine et leurs conditions de déclenchement. A partir de ces informations, un modèle formel des émotions d'un agent rationnel dialoguant a été construit. Les émotions y sont définies par leurs conditions de déclenchement représentées par des états mentaux particuliers, i.e. des combinaisons de croyances, d'incertitudes et d'intentions. L'intensité de ces émotions est calculée à partir de ces mêmes attitudes mentales. Cette formalisation permet à un agent rationnel dialoguant de déterminer dans une situation donnée l'émotion d'empathie qu'il devrait exprimer. Ce modèle formel d'émotions a été implémenté sous la forme d'un module de gestion des émotions pour des agents rationnels dialoguants - les agents JSA, Jade Semantics Agents (Louis et al., 2007). Une évaluation auprès d'un panel de personnes a permis de mettre en évidence l'amélioration de la perception qu'a l'utilisateur de l'agent lorsque celui-ci exprime des émotions d'empathie.

Lors de mon post-doctorat au Laboratoire d'Informatique de l'Université Paris 6 (LIP6), mes recherches ont porté sur la modélisation de la dynamique des relations sociales de personnages virtuels dans les jeux vidéo. L'objectif de ces travaux de recherche était de tenter d'améliorer la crédibilité des personnages non-joueurs (i.e. des personnages virtuels non contrôlés par le joueur) afin d'améliorer le sentiment d'immersion du joueur dans un jeu. Ces travaux ont été réalisés dans le cadre d'un projet RIAM (Réseau pour la Recherche en Audiovisuel et Multimedia) en collaboration avec le LIP6 (Nicolas Sabouret et Vincent Corruble), le laboratoire CEDRIC au CNAM et avec deux entreprises de jeux vidéo (SpirOps et QuanticDream). A partir des travaux en Sciences Humaines et Sociales (Ortony, 1991; Shiota et al., 2004; Keltner et al., 2001; Knutson, 1996), nous avons modéliser l'impact des émotions apparaissant durant une interaction sur la relation sociale d'un personnage suivant son expérience affective avec les autres personnages (joueurs et non-joueurs). A partir de ce modèle, nous avons développé un Outil de Simulation du contexte Socio-Emotionnel pour des personnages virtuels (appelé outil OSSE). Il permet aux concepteurs de jeux de définir aisément des scènes virtuels d'interaction et de visualiser la dynamique des relations sociales de chaque personnage, chacun étant caractérisé par une personnalité, des attitudes (i.e. dispositions positives ou négatives par rapport à différents éléments du monde) et un ou plusieurs rôles sociaux. Un mécanisme simple fondé sur les attitudes est proposé pour calculer automatiquement les émotions qui apparaissent durant les interactions entre les personnages.

Durant mon post-doctorat au National Institute of Informatics (NII) à Tokyo au Japon, j'ai travaillé sur l'utilisation des émotions pour améliorer le caractère persuasif de personnages virtuels dans des environnements virtuels tel que Second Life. Un modèle de stratégies d'expressions d'émotion a été développé à partir des travaux en Sciences Humaines et Sociales. Fondé sur ce modèle, un personnage virtuel émotionnellement persuasif a été implémenté et évalué auprès d'utilisateurs dans l'environnement Second Life.

Aujourd'hui au laboratoire CNRS-LTCI à Telecom Paris Tech, mes recherches s'intégrent dans le réseau européen d'excellence SSPnet (Social Signals Processing Network). Ces travaux visent l'intégration d'une intelligence sociale dans les agents conversationnals animés pour une amélioration de l'interaction humain-machine. Nous travaillons en particulier sur un modèle computationnel du sourire pour les agents conversationnels animés.