分享自:

谁是最好的创意思维伙伴?人类与人类、人类与互联网、人类与AI共创的实验研究

期刊:The Journal of Creative BehaviorDOI:10.1002/jocb.1519

这篇文档属于类型a,即报告了一项原创性研究。以下是对该研究的学术报告:

主要作者及研究机构

该研究由mintang, sebastian hofreiter, christian h. werner, aleksandra zielińska, 和 maciej karwowski共同完成。研究发表在the journal of creative behavior,并于2024年出版。

学术背景

该研究的主要科学领域是创造力研究,特别是探讨人工智能(AI)在创造性思维中的作用。近年来,生成式人工智能(如ChatGPT)的出现引发了广泛关注,许多研究探讨了AI是否能够增强人类的创造力,甚至在某些情况下超越人类。然而,这些研究大多集中在AI与人类个体的对比上,忽视了其他信息源(如互联网或其他人)对创造力的影响。因此,本研究旨在通过实验比较人类与人类、人类与互联网、以及人类与AI在创造性任务中的表现,探讨不同合作模式对创造力的影响。

研究的主要目标是回答以下问题:1)不同合作模式(人类-人类、人类-互联网、人类-AI)如何影响创造性任务的表现?2)这些合作模式如何影响参与者的创造性自信?3)AI在创造力评估中的可靠性如何?这些问题对于理解AI在创造力中的角色以及如何更好地利用AI进行创造性合作具有重要意义。

研究流程

研究设计为组间实验,共有202名德国参与者被随机分配到四种实验条件中:人类-人类组人类-互联网组、以及两个人类-AI组(分别使用基本指令和特定指令)。研究分为三个部分:

  1. 背景调查:参与者填写了关于其背景、ChatGPT使用经验、开放性(openness to experience)和创造性自信的问卷。
  2. 创造性任务:参与者与指定的合作伙伴(人类、互联网或ChatGPT)共同完成四项创造性任务,包括两项替代用途任务(Alternate Uses Task, AUT)、一项后果任务(Consequences Task)和一项问题解决任务。每个任务分为发散思维(divergent thinking)和收敛思维(convergent thinking)两个阶段。
  3. 任务后调查:参与者评估了任务的兴趣度、难度、心理努力以及合作伙伴的贡献和帮助程度,并再次测量了其创造性自信。

在数据收集后,研究使用人类评分和AI自动化评分(OCSAI)两种方式对创造性任务的表现进行评估。人类评分由六名心理学专业学生根据不常见性、远程性和巧妙性三个指标进行评分,而OCSAI则基于大型语言模型(LLM)进行自动化评分。

主要结果

  1. 创造性任务表现:在发散思维任务中,人类-人类组的创造性得分显著高于其他组,特别是在“叉子”任务中表现尤为突出。而在问题解决任务中,各组之间没有显著差异。
  2. 创造性自信人类-人类组的参与者在任务后表现出显著的创造性自信提升,而人类-互联网组人类-AI组的创造性自信没有显著变化。
  3. 合作伙伴的感知:参与者认为人类-人类组人类-AI组的合作伙伴在任务中非常有用,而人类-互联网组的参与者则认为Google搜索的帮助较小。此外,人类-AI组的参与者认为ChatGPT在任务中贡献了大部分创意,而人类-互联网组的参与者则认为自己的贡献更大。
  4. AI评分与人类评分的差异:研究发现,OCSAI的评分与人类评分之间存在显著差异,特别是在评估人类-AI组的创造性表现时,OCSAI倾向于给出更高的评分。这种差异可能与OCSAI对“详细程度”(elaboration bias)的偏好有关。

结论

研究得出结论,人类-人类合作在发散思维任务中表现出更高的创造力,并且能够显著提升参与者的创造性自信。相比之下,尽管AI在某些任务中提供了帮助,但其在创造力评估中的可靠性仍存在疑问,特别是在自动化评分系统中可能存在的“详细程度偏差”。这一发现挑战了AI在创造力领域中的优势地位,强调了人类合作在创造性思维中的独特价值。

研究的意义与价值

该研究为理解AI在创造性思维中的作用提供了新的视角,特别是在比较不同合作模式对创造力的影响方面。研究结果表明,AI虽然能够提供一定的认知支持,但在创造性任务中的表现仍无法完全替代人类合作。此外,研究还揭示了AI自动化评分系统在创造力评估中的潜在偏差,为未来研究提供了重要的方法论启示。

研究亮点

  1. 创新性实验设计:研究首次将人类-人类、人类-互联网和人类-AI三种合作模式进行系统比较,填补了现有研究的空白。
  2. 多维度评估:研究不仅评估了创造性任务的表现,还考察了参与者对任务难度、合作伙伴贡献以及创造性自信的感知,提供了更全面的分析。
  3. AI评分的深入探讨:研究首次揭示了AI自动化评分系统在创造力评估中的潜在偏差,为未来研究提供了重要的参考。

其他有价值的内容

研究还提出了未来研究的方向,例如进一步探讨人类-人类合作中的具体机制,以及如何通过更动态的实验设计(如眼动追踪)来更好地理解创造性合作的过程。此外,研究还建议未来研究应关注AI在创造力评估中的潜在偏差,特别是在在线研究中可能出现的ChatGPT生成响应的干扰问题。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com