学术报告

研究背景

近年来，心理学和认知神经科学领域对个体差异（individual differences）的兴趣日益浓厚。然而，许多研究面临复制危机，这尤其显现在探索大脑-行为关联（brain-behavior correlations）的研究中。个体差异研究得以复制的一个关键要素是所用测量方法的可靠性，但这一点往往被假设而非直接验证。本研究旨在评估不同认知任务的可靠性，特别是在一个包含250多名参与者的多日任务数据集上，探讨这些任务在个体间差异研究中的适用性。

论文来源

这篇论文由Jan Kadlec、Catherine R. Walsh、Uri Sade、Ariel Amir、Jesse Rissman及Michal Ramot等人撰写，分别来自Weizmann Institute of Science和University of California, Los Angeles。论文发表在2024年《Communications Psychology》杂志上。

研究详情

研究流程

本研究涉及多个步骤，共包含14个不同的认知任务，以评估其在个体差异研究中的可靠性和稳定性。数据集来自超过250名参与者，他们分别完成了一组多日的任务。

任务设计与数据收集

1. 任务种类：研究选择了12种常用的认知任务，和2个新开发的任务，共涵盖了21种不同的行为测量。这些任务涉及多个认知领域，包括工作记忆、物体记忆、面部记忆、社会认知等。
2. 数据收集过程：所有数据均在线收集，参与者通过Prolific平台招募。实验初期数据收集为期3-4天，后续增加了任务种类以进一步验证可靠性。

可靠性分析

1. 内部一致性：使用基于排列的split-halves方法计算可靠性，重复1000次得到稳定的结果。
2. 实验设计：为每个行为测量测试可靠性，包含任务数据的多个时间尺度，进一步验证跨天测量的效果。

新任务与工具开发

1. 新任务：开发了两个新任务Personal Identity Memory Task和Face Memory/Perception Task。
2. 模拟与理论验证：通过大规模模拟和真实行为数据验证分析模型，预测小样本数据中的潜在误差。
3. 在线工具：根据分析模型开发了一个易用的在线工具，用于计算任何给定数据集的可靠性，帮助研究人员更好地设计行为任务。

主要结果

1. 可靠性测量：许多任务的分检半数可靠性曲线显示随着试验数的增加，可靠性显著提高。
2. 效用分析：不同任务的可靠性收敛速度差异显著，表明某些任务更适合用于个体差异研究。特别地，Cambridge Face Memory Test在测量个体差异方面表现出更高的可靠性。
3. 时间效应：时间跨度对某些任务的可靠性有显著影响，特别是注意力和记忆任务，建议在跨时测量中应考虑这一影响。
4. 建议与工具：提供了一个在线工具，用于研究设计中估计所需的试验数目和参与人数，确保在数据收集之前达到预期的可靠性水平。

结论及意义

本研究的结论指出，心理学和认知神经科学研究中广泛使用的许多任务需要重新评估其在个体差异研究中的可靠性。通过科学地优化数据收集和任务设计，可以在个体差异研究中获得更好的数据质量。本研究提出的分析方法不仅验证了任务的可靠性，也为设计新研究提供了实用