建模分析经济决策领域中依靠机器学习建立理论所使用数据集的偏倚

信息科学 人工智能 文科及其他
数据集偏差 经济决策 机器学习 神经网络 决策噪声

背景介绍

长期以来，规范性(nomative)和描述性(descriptive)模型一直在试图解释和预测人类在面对商品或赌博等风险选择时的决策行为。最近的一项研究通过训练神经网络(Neural Networks, NNs)在一个新的大规模在线数据集choices13k上，发现了一种更准确的人类决策模型。本研究系统地分析了不同模型和数据集之间的关系，并发现了数据集偏差(dataset bias)的证据。研究表明，数据集choices13k中对随机赌博选择的偏好趋向于平衡，可能反映了增加的决策噪声。通过将结构化的决策噪声添加到使用实验室研究数据训练的神经网络中，我们构建了一个贝叶斯生成模型，并发现该模型表现优于其他除choices13k之外的所有模型。

研究来源

此项研究发表于《Nature Human Behaviour》，论文题为”Modelling dataset bias in machine-learned theories of economic decision-making”。作者包括Tobias Thomas、Dominik Straub、Fabian Tatai、Megan Shene、Tümer Tosik、Kristian Kersting和Constantin A. Rothkopf，均隶属于德国达姆施塔特工业大学（Technical University of Darmstadt）和黑森州人工智能中心（Hessian Center for Artificial Intelligence）。

研究流程 (Workflow)

方法概述

本研究设计了一系列实验以调查数据集和模型的相互作用，使用了来自三个不同研究的选择数据集：cpc15、choice prediction competition 2018 (cpc18) 和 choices13k。我们训练了多个机器学习模型，并测试了这些模型在不同数据集上的表现，以此来评估模型的泛化能力以及数据集之间的差异。

  1. 选择数据集的来源与描述:

    • cpc15数据集由希伯来大学和以色列理工学院的实验室研究收集，包含446名参与者在150种不同选择问题上的数据。
    • cpc18数据集扩展了cpc15的数据，包含在相同实验环境下收集的更多赌博和行为数据。
    • choices13k数据集，由Amazon Mechanical Turk (AMT)平台上的参与者在13,000多种选择问题上的选择行为组成。

  2. 模型训练与测试:

    • 使用5种不同的模型（包括三个经典的机器学习方法beast、Random Forest和支持向量机svm，以及两个不同的神经网络架构）：我们分别在cpc15和choices13k数据集上训练这些模型，并评估它们在其他数据集上的表现。

  3. 数据集偏差分析:

    • 我们应用转移测试（transfer testing），发现与cpc15和cpc18相比，在choices13k训练的模型在实验室数据集上的表现更差，这提示了数据集之间存在系统性偏差。
    • 使用解释性人工智能（Explainable AI, XAI）的方法如特征重要性权重，来探讨导致这些差异的可能因素，尤其是来自心理与行为经济学文献的特征。

实验结果

  1. 选择数据分析:

    • 我们通过转移测试发现，数据集choices13k中的参与者行为与实验室数据集cpc15和cpc18存在系统性差异；模型在它们各自的训练和测试集上表现最好，但在其他数据集上表现则较差。

  2. 特征权重分析:

    • 采用线性模型和特征重要性权重，我们发现一些心理特征（如赌博结果的期望值差异、概率和反馈因素）能够更好地解释模型预测之间的差异。

  3. 决策噪声模型:

    • 为了量化数据集偏差的来源，我们进一步构建了一个混合模型，其中部分参与者随机猜测，剩下的参与者则加入额外的决策噪声。这个混合模型有效地解释了choices13k数据集中的决策噪声。

研究结论和意义

本研究揭示了在机器学习模型与人类决策数据之间存在复杂互动的情况，强调了数据收集环境的重要性。通过结合机器学习、数据分析和理论驱动的推理，我们能够更好地预测和理解人类的经济决策行为。

  1. 科学意义与应用价值:

    • 提供了一种通过构建生成模型来解释数据集偏差的科学方法。
    • 研究结果强调了在发展更广泛的人类决策理论时，数据集本身的代表性和数据收集环境的重要性。
    • 提供了关于改进未来机器学习模型以及人类决策行为研究方法的见解。

  2. 研究亮点:

    • 确定了数据集偏差的存在及其原因，证明了即使是大规模的数据集也可能需要结合理论分析来理解复杂的人类决策行为。
    • 提出了通过将决策噪声加入到生成模型中的方法，有效地解释了在线和实验室数据集之间的选择行为差异。

研究未来方向

此研究为未来的研究提出了一些关键问题，包括如何优化决策实验的设计、确保数据的代表性以及考虑不同实验环境对人类决策行为的影响。此外，丰富的数据集和更自然化的实验设置可能会进一步推动机器学习模型在经济决策分析中的应用和理论研究。再者，此研究强调了理论在数据驱动的机器学习中的不可或缺性，为未来探索更有效的科学理论生成工具提供了基础。 通过本研究，作者不仅展示了机器学习在经济决策分析中的巨大潜力，还揭示了在大规模自主生成机器学习理论时所需的谨慎和规划。科学和工程的新边界正因此不断被扩展，同时也为实际的经济决策提供了更准确和丰富的模型基础。