Modélisation des biais de jeu de données dans les théories d'apprentissage automatique de la prise de décision économique

Sciences de l'information Intelligence artificielle Lettres et autres
biais de jeu de données prise de décision économique apprentissage automatique réseaux neuronaux bruit de décision

Contexte

Depuis longtemps, les modèles normatifs et descriptifs tentent d’expliquer et de prédire les comportements de prise de décision des humains face à des choix risqués tels que des biens ou des jeux de hasard. Une étude récente, en entraînant des réseaux neuronaux (Neural Networks, NNs) sur un nouveau grand ensemble de données en ligne nommé choices13k, a découvert un modèle de décision humaine plus précis. Cette recherche a systématiquement analysé les relations entre différents modèles et ensembles de données et a trouvé des preuves de biais des ensembles de données (dataset bias). L’étude montre que les préférences pour les choix de jeux de hasard aléatoires dans l’ensemble de données choices13k tendent à être équilibrées, ce qui pourrait refléter une augmentation du bruit de décision. En ajoutant du bruit décisionnel structuré aux réseaux neuronaux entraînés avec des données d’études en laboratoire, nous avons construit un modèle génératif bayésien qui s’est avéré surpasser tous les autres modèles à l’exception de choices13k.

Source de l’étude

Cette étude est publiée dans la revue “Nature Human Behaviour”, sous le titre “Modelling dataset bias in machine-learned theories of economic decision-making”. Les auteurs incluent Tobias Thomas, Dominik Straub, Fabian Tatai, Megan Shene, Tümer Tosik, Kristian Kersting et Constantin A. Rothkopf, tous affiliés à l’Université technique de Darmstadt (Technical University of Darmstadt) et au Centre Hessien pour l’Intelligence Artificielle (Hessian Center for Artificial Intelligence).

Déroulement de l’étude (Workflow)

Aperçu de la méthode

Cette recherche a conçu une série d’expériences pour enquêter sur l’interaction entre les ensembles de données et les modèles, en utilisant des ensembles de données de choix provenant de trois études différentes : cpc15, choice prediction competition 2018 (cpc18) et choices13k. Nous avons entraîné plusieurs modèles d’apprentissage automatique et testé leurs performances sur différents ensembles de données afin d’évaluer la capacité de généralisation des modèles et les différences entre les ensembles de données.

  1. Origine et description des ensembles de données :

    • L’ensemble de données cpc15 a été recueilli lors d’études en laboratoire à l’Université hébraïque et au Technion de Haïfa, en Israël, comprenant les données de 446 participants sur 150 problèmes de choix différents.
    • cpc18 a étendu les données de cpc15, incluant davantage de données sur les jeux de hasard et les comportements recueillis dans les mêmes conditions expérimentales.
    • L’ensemble de données choices13k se compose des comportements de choix de participants sur la plateforme Amazon Mechanical Turk (AMT) sur plus de 13 000 problèmes de choix.

  2. Entraînement et test des modèles :

    • Nous avons utilisé cinq modèles différents (dont trois méthodes d’apprentissage automatique classiques beast, Random Forest et les machines à vecteur de support - svm, ainsi que deux architectures de réseaux neuronaux différentes) : nous avons entraîné ces modèles sur les ensembles de données cpc15 et choices13k, puis évalué leurs performances sur d’autres ensembles de données.

  3. Analyse du biais des ensembles de données :

    • Nous avons appliqué des tests de transfert (transfer testing) et découvert que les modèles entraînés sur l’ensemble de données choices13k performaient moins bien sur les ensembles de données de laboratoire comparé à cpc15 et cpc18, suggérant l’existence d’un biais systématique entre les ensembles de données.
    • Nous avons utilisé des méthodes d’intelligence artificielle explicable (Explainable AI, XAI) comme le poids d’importance des caractéristiques, pour explorer les facteurs susceptibles de provoquer ces différences, notamment des caractéristiques issues de la littérature en psychologie et en économie comportementale.

Résultats expérimentaux

  1. Analyse des choix :

    • Les tests de transfert montrent que les comportements des participants de l’ensemble de données choices13k diffèrent systématiquement de ceux des ensembles de données de laboratoire cpc15 et cpc18 ; les modèles performent mieux sur leurs ensembles d’entraînement et de test respectifs, mais moins bien sur les autres ensembles de données.

  2. Analyse des poids des caractéristiques :

    • Avec des modèles linéaires et les poids d’importance des caractéristiques, nous avons découvert que certaines caractéristiques psychologiques (comme la variance des valeurs espérées des résultats des jeux de hasard, les probabilités et les facteurs de feedback) expliquent mieux les différences de prédictions des modèles.

  3. Modèle de bruit décisionnel :

    • Pour quantifier l’origine du biais des ensembles de données, nous avons construit un modèle mixte où une partie des participants font des suppositions aléatoires, et les autres ajoutent du bruit décisionnel supplémentaire. Ce modèle mixte a efficacement expliqué le bruit de décision dans l’ensemble de données choices13k.

Conclusion et importance de l’étude

Cette recherche révèle qu’il existe une interaction complexe entre les modèles d’apprentissage automatique et les données de décision humaine, soulignant l’importance du contexte de collecte des données. En combinant apprentissage automatique, analyse de données et raisonnement théorique, nous pouvons mieux prévoir et comprendre les comportements décisionnels économiques des humains.

  1. Importance scientifique et valeur appliquée :

    • Fournit une méthode scientifique pour expliquer le biais des ensembles de données par la construction de modèles génératifs.
    • Les résultats de l’étude soulignent l’importance de la représentativité des ensembles de données et du contexte de collecte dans le développement de théories plus larges sur la prise de décision humaine.
    • Offre des perspectives pour améliorer les futurs modèles d’apprentissage automatique et les méthodes de recherche sur les comportements décisionnels humains.

  2. Points forts de la recherche :

    • Identifie l’existence et les causes du biais des ensembles de données, montrant que même de grands ensembles de données peuvent nécessiter une analyse théorique pour comprendre les comportements décisionnels humains complexes.
    • Propose une méthode pour intégrer le bruit décisionnel dans les modèles génératifs, expliquant efficacement les différences dans les comportements de choix entre les ensembles de données en ligne et en laboratoire.

Directions futures de recherche

Cette étude soulève plusieurs questions clés pour les recherches futures, notamment comment optimiser le design des expériences décisionnelles, garantir la représentativité des données et considérer les impacts des différents environnements expérimentaux sur le comportement décisionnel humain. De plus, des ensembles de données plus riches et des configurations expérimentales plus naturelles pourraient encore pousser l’application des modèles d’apprentissage automatique dans l’analyse décisionnelle économique et la recherche théorique. Par ailleurs, l’étude met en lumière l’indispensabilité de la théorie dans l’apprentissage automatique basé sur les données, jetant les bases pour explorer de futurs outils de génération de théories scientifiques plus efficaces. À travers cette recherche, les auteurs montrent non seulement le potentiel immense de l’apprentissage automatique dans l’analyse de la décision économique, mais aussi la nécessité de prudence et de planification dans la génération autonome à grande échelle de théories d’apprentissage automatique. Les nouvelles frontières de la science et de l’ingénierie continuent ainsi d’être repoussées, tout en offrant une base plus précise et riche pour les modèles de décision économique pratique.