基于反事实推理的多模态公众演讲焦虑检测通用去偏框架

人工智能 计算机科学 信息科学
公众演讲焦虑检测 多模态去偏 虚假相关性 反事实推理 数据集

学术背景与问题引入

在当今教育领域，公共演讲焦虑（Public Speaking Anxiety, PSA）是一个普遍存在的现象，尤其是在非母语学习者中。这种焦虑不仅影响学习者的表达能力，还可能阻碍其个人发展。为了帮助学习者克服这一问题，研究者们开始探索如何通过多模态数据（如视频、音频和文本）自动检测演讲焦虑状态。然而，现有的多模态公共演讲焦虑检测（Multimodal Public Speaking Anxiety Detection, MPSAD）模型在训练过程中容易受到多种潜在偏差的影响，例如上下文偏差（context bias）、标签偏差（label bias）和关键词偏差（keyword bias）。这些偏差会导致模型过度依赖某些表面特征，而未能充分利用多模态信息，从而降低检测的准确性。

为了解决这一问题，研究者们提出了一个通用的多模态反事实推理去偏框架（General Multimodal Counterfactual Reasoning Debiasing Framework, GMCR），旨在从因果关系的角度消除多模态数据中的混合偏差，从而提高模型的鲁棒性和准确性。

论文来源与作者信息

这篇论文由来自北京邮电大学计算机学院（国家示范性软件学院）的Tingting Zhang、Yangfu Zhu、Bin Wu等作者共同撰写，并发表在2025年的《Neural Networks》期刊上。论文的标题为《A General Debiasing Framework with Counterfactual Reasoning for Multimodal Public Speaking Anxiety Detection》。

研究流程与实验设计

1. 问题定义与数据集构建

研究首先定义了多模态公共演讲焦虑检测任务，并将其视为一个多分类问题。为了验证GMCR框架的有效性，研究者构建了一个新的多模态英语公共演讲焦虑数据集（Multimodal English Public Speaking Anxiety, ME-PSA）。该数据集包含794个演讲视频，来自365名参与者，总时长47.84小时，并细分为15,378个视频片段，每个片段都标注了五个等级的焦虑状态。此外，研究还使用了公开的SAC（Speaking Anxiety in Class）数据集和CMU-MOSEI数据集进行对比实验。

2. GMCR框架设计

GMCR框架的核心是通过反事实推理消除多模态数据中的混合偏差。具体而言，框架包括以下三个关键模块：
- 因果解耦模块（Causal Disentanglement Module）：通过独立的因果提取器和偏差提取器，将每个模态的输入数据分解为因果特征和偏差特征，并利用Hilbert-Schmidt独立性准则（HSIC）确保两者的独立性。
- 反事实分支模块（Counterfactual Branch Module）：构建一个反事实世界，假设模型仅看到偏差特征，从而评估偏差对模型预测的直接负面影响。
- 反事实去偏模块（Counterfactual Debiasing Module）：在推理阶段，通过从总效应（Total Effect, TE）中减去自然直接效应（Natural Direct Effect, NDE），得到总间接效应（Total Indirect Effect, TIE），从而实现无偏预测。

3. 实验与结果分析

研究在ME-PSA、SAC和CMU-MOSEI数据集上进行了广泛的实验，对比了GMCR框架与多种现有方法的性能。实验结果表明，GMCR框架在多个评估指标上均显著优于现有方法。例如，在SAC数据集上，GMCR将LAD模型的4分类准确率从53.64%提升至56.36%，F1分数从41.54%提升至45.89%。此外，GMCR在CMU-MOSEI数据集上也表现出良好的泛化能力，进一步验证了其有效性。

4. 消融实验与参数敏感性分析

为了评估GMCR框架中各个模块的贡献，研究进行了系统的消融实验。结果显示，去除因果解耦模块或反事实分支模块都会导致模型性能显著下降，表明这两个模块在去偏过程中起到了关键作用。此外，参数敏感性实验表明，当独立性约束参数𝛼和𝛽设置为1.0时，模型性能达到最佳。

研究结论与意义

GMCR框架通过引入因果推理和反事实分析，成功解决了多模态公共演讲焦虑检测任务中的混合偏差问题。其主要贡献包括：
1. 通用性：GMCR框架不依赖于特定类型的偏差，能够同时处理多种偏差，适用于任何现有的MPSAD模型。
2. 有效性：实验结果表明，GMCR显著提高了模型的检测精度和鲁棒性，在多个数据集上均取得了最佳性能。
3. 创新性：GMCR框架首次将反事实推理应用于多模态公共演讲焦虑检测任务，为多模态数据的去偏研究提供了新的思路。

研究亮点与价值

  • 问题的重要性：公共演讲焦虑检测在教育领域具有重要意义，而GMCR框架有效解决了现有模型中的偏差问题，为个性化教学提供了技术支持。
  • 方法的创新性：GMCR框架通过因果解耦和反事实推理，实现了多模态数据的无偏预测，具有较高的理论价值和实际应用价值。
  • 数据的丰富性：研究构建的ME-PSA数据集规模大、标注精细，为未来相关研究提供了宝贵的数据资源。

其他有价值的信息

研究还通过案例研究展示了GMCR框架在实际应用中的优势。例如，在一个包含上下文偏差和关键词偏差的案例中，GMCR成功纠正了基线模型的错误预测，证明了其在处理复杂偏差场景中的有效性。

这篇论文通过提出GMCR框架，为多模态公共演讲焦虑检测任务提供了全新的解决方案，不仅推动了相关领域的研究进展，也为实际应用提供了有力的技术支持。