Rapport de Données Scientifiques | K-emophone : Un ensemble de données mobiles et portables avec des étiquettes locales d’émotion, de stress et d’attention

Introduction Contexte

Avec la prolifération des capteurs mobiles et portables à faible coût, de nombreuses recherches ont utilisé ces dispositifs pour suivre et analyser la santé mentale, la productivité et les comportements humains. Cependant, jusqu’à présent, bien que les ensembles de données collectés dans des environnements de laboratoire aient progressé, il manque encore des ensembles de données étiquetés pour des émotions, du stress et de l’attention collectés dans des contextes réels, ce qui limite les avancées dans les domaines de la computation affective (Affective Computing) et de l’interaction homme-machine (Human-computer Interaction).

Sources de Recherche

Cette étude a été réalisée par Soowon Kang, Woohyeok Choi, Cheul Young Park, Narae Cha, Auk Kim, Ahsan Habib Khandoker, Leontios Hadjileontiadis, Heepyung Kim, Yong Jeong et Uichin Lee. Ils viennent respectivement de l’Institut des Sciences et Technologies de Corée, de l’Institut de Recherche Upstage AI, de Libl, de l’Université Nationale de Kangwon, de l’Université Khalifa et de l’Université Aristote. Cette recherche a été publiée dans la revue “Scientific Data” en 2023.

Processus de Recherche

Méthode de Collecte de Données

L’ensemble de données K-emophone a été collecté pendant sept jours auprès de 77 étudiants participants dans des contextes réels en utilisant des données multimodales. La recherche comprenait trois étapes principales : une enquête préliminaire, la collecte réelle de données et une enquête de suivi.

Enquête Préliminaire

Avant la collecte des données, une série de questionnaires préliminaires a été utilisée pour obtenir des informations démographiques de base et des traits de personnalité des participants à long terme invariants. Par exemple, le Big Five Inventory (BFI) a été utilisé pour mesurer l’ouverture, la conscienciosité, le névrosisme, l’extraversion et l’amabilité des participants. Pour s’adapter au contexte coréen, une version abrégée et traduite en coréen du BFI, le K-BFI 15 questionnaire, a été utilisée.

Collecte Réelle de Données

La collecte réelle des données était basée sur la méthode de l’échantillonnage d’expérience (Experience Sampling Method, ESM), en utilisant l’application smartphone Paco pour concevoir des questionnaires et envoyer des notifications aux participants. Les participants recevaient 16 rappels aléatoires entre 10h00 et 22h00 pour signaler en temps réel leur état émotionnel, de stress, d’attention, etc.

En plus des données ESM, des données de capteurs multi-modalités ont été collectées à l’aide de smartphones Android et de montres intelligentes Microsoft (MS) Band 2. Ces données comprenaient des signaux physiologiques tels que la luminosité ambiante, l’exposition aux ultraviolets, la fréquence cardiaque, la température cutanée, ainsi que des signaux comportementaux tels que les données de l’accéléromètre, le nombre de pas et la distance parcourue.

Cet ensemble de données a non seulement collecté des données de capteurs mais aussi des auto-évaluations des participants chaque jour, introduisant une dimension plus complète dans la surveillance des émotions et du stress.

Enquête de Suivi

Après la collecte des données, l’équipe de recherche a réalisé une enquête de suivi en utilisant des outils tels que l’échelle de stress perçu (Perceived Stress Scale, PSS), le questionnaire de santé du patient (Patient Health Questionnaire, PHQ) et le questionnaire de santé général (General Health Questionnaire, GHQ) pour évaluer l’état de santé mentale des participants pendant la période de collecte des données.

Traitement des Données et Protection de la Vie Privée

L’équipe de recherche a procédé à un nettoyage complet des données collectées, recevant un total de 5 753 réponses aux questionnaires et 12,7 Go de données de capteurs multi-modalités. En raison de problèmes significatifs avec les données de certains participants, l’ensemble de données final a été filtré et traité avec des mesures de protection de la vie privée telles que le cryptage et l’ajout de bruit, conservant finalement 5 582 réponses valides aux questionnaires et 11,7 Go de données de capteurs.

Principaux Résultats

La validité technique de l’ensemble de données a été vérifiée à l’aide de méthodes d’apprentissage automatique. Des modèles ont été développés pour prédire les états émotionnels, de stress et d’interruption de tâche, et les caractéristiques les plus importantes du modèle ont été analysées. Les modèles construits en utilisant des algorithmes tels que les forêts aléatoires et XGBoost ont montré des performances de prédiction qui dépassaient les modèles de référence dans certaines dimensions, bien qu’ils posent encore des défis. Dans l’ensemble, ils ont démontré une bonne capacité prédictive.

Caractéristiques des Données et Validation Technique

Des caractéristiques ont été extraites des données de capteurs multi-modalités, par exemple, les lectures actuelles des capteurs, le temps écoulé depuis les dernières modifications des lectures de capteurs, et la distribution des lectures sur une fenêtre temporelle spécifique. Une autre caractéristique importante était l’état émotionnel élevé possible des participants, ce qui a joué un rôle clé dans les prédictions des états émotionnels et de stress.

Dans la détection d’interactions, diverses algorithmes de machine learning ont été utilisés pour l’entraînement et la validation, et les performances des modèles ont été évaluées par validation croisée. Les résultats ont montré que les modèles utilisant l’algorithme XGBoost ont des performances équilibrées sur les critères de valence, d’excitation, de stress et de perturbation de tâche, indiquant le potentiel de cet ensemble de données pour la reconnaissance des émotions et la gestion de l’attention.

Conclusion et Valeur

L’ensemble de données K-emophone démontre son énorme potentiel pour étendre les recherches dans le domaine de la computation affective. En fournissant des données multi-modalités collectées dans des environnements réels, cette recherche offre des sources de données précieuses allant de la santé mentale à la productivité. Il est prévu que cet ensemble de données jouera un rôle important dans les futures recherches sur la santé mentale, la computation affective, la gestion de l’attention, etc., offrant ainsi de nouvelles voies pour combiner la détection des émotions avec l’analyse des comportements de la vie quotidienne.

Points Forts de la Recherche

1. Données Multi-modalités: Cette recherche utilise pleinement différentes données de capteurs et des auto-évaluations ESM, fournissant des informations plus complètes sur les émotions, le stress et les comportements.
2. Données en Environnements Réels: La collecte de données a lieu dans la vie quotidienne des participants, ce qui se rapproche des contextes d’application réels, augmentant la validité externe des données.
3. Applications Transdisciplinaires: Cet ensemble de données peut être largement utilisé dans divers domaines allant de la computation affective à la gestion de l’attention, contribuant à l’avancée de la recherche et au développement d’applications dans ces domaines.

Instructions d’Utilisation et Limitations

Disponibilité du Code

L’étude a développé une application Android pour la collecte de données et a également publié le code pour l’exploration des données et l’apprentissage automatique, fournissant ainsi des ressources de recherche complètes.

Applications Potentielles

L’équipe de recherche espère que l’ensemble de données K-emophone aidera d’autres chercheurs à comprendre les états émotionnels et cognitifs, à développer de nouvelles applications basées sur ces données, telles que la détection des émotions et la reconnaissance du stress, et à promouvoir davantage la recherche sur la santé mentale et la productivité.

Limitations

En raison de la disponibilité limitée de la montre intelligente Microsoft Band 2, les futures recherches devront peut-être intégrer d’autres dispositifs de capteurs pour continuer la collecte de données similaires. De plus, les participants pourraient ne pas suivre complètement les instructions de collecte de données, ce qui pourrait affecter la qualité des données pour certains résultats.

Malgré certaines limitations, l’application pratique et la validation ultérieure de cet ensemble de données montrent son bon potentiel d’application dans la compréhension et la gestion des émotions et de l’attention.