以原型为基础的样本加权蒸馏统一框架应用于缺失模态的情感分析
以原型为基础的样本加权蒸馏统一框架应用于缺失模态情感分析
研究背景
情感分析是自然语言处理(NLP)中的一个重要领域，随着社交媒体平台的发展，人们越来越倾向于通过简短的视频片段来表达他们的情感。这导致多模态数据的快速增长。然而，现实生活中经常会遇到模态缺失的情况，例如由于音频丢失、摄像头遮挡或语音转录错误等问题。在这种情况下，对缺失模态的情感分析成为一个具有挑战性的重要议题。多模态的异质性在尝试对所有模态在多模态网络上优化相同目标时，往往导致优化的不平衡问题，尤其是在模态缺失的情况下。现有的研究在处理模态缺失时，常常忽略了网络优化的不平衡问题。
研究来源
这篇论文由山东师范大学信息科学与工程学院的张玉娟、刘芳娥、庄旭强、侯英和张玉灵共同撰写，论文发表于2024年5月20日的《Neural Networks》期刊上。
研究流程
1. 研究流程概述
为了解决上述问题，本文提出了一种基于原型的样本加权蒸馏统一框架（PSWD），并将其应用于缺失模态情感分析。具体来说，PSWD利用一种更高效的基于Transformer的跨模态分层循环融合模块来融合特征。并结合了样本加权蒸馏策略和原型正则化网络来应对模态缺失和优化失衡的问题。本文的主要流程包括以下几个模块：特征编码器、不变特征编码器、跨模态分层循环融合模块、情感分类器和基于原型的正则化网络。
2. 具体流程和实验设计
a. 特征编码器模块 特征编码器模块针对每个模态（音频、视觉和文本）设计独立的编码器。音频和视觉模态使用LSTM网络和最大池化层来提取话语级特征，文本模态使用TextCNN进行特征提取。
b. 不变特征编码器模块 不变特征编码器模块由一个全连接层、激活函数和Dropout层组成，旨在使用中央矩差（CMD）约束将模态特定特征映射到一个共享子空间，从而提取模态不变特征。
c. 跨模态分层循环融合模块 该模块利用模态不变特征在分层互注意融合结构中进行融合。通过确保Invariant特征的多样性来实现跨模态的融合，并在一个循环的层次结构中运作，以使所有模态都能够有效地交流和互补。
d. 分类器 最终获得的融合特征与特定特征结合形成联合多模态表示，用以进行情感分类。情感分类器由多层全连接层组成，用于计算情感预测的概率分布。
e. 原型正则化 原型正则化通过引入每个模态的分类原型构建非参数化分类器，测量每个样本与所有原型之间的距离来评估每个模态的性能，通过自适应调整梯度来加速弱模态的优化。
主要结果
本文在两个基准数据集（IEMOCAP和MSP-IMPROV）上进行了大量的实验，实验结果表明，PSWD在与最新基线方法的比较中取得了最好的结果。
研究结论
本文提出的PSWD框架不仅连接了全模态的情感分析研究，而且解决了模态缺失的情感分析问题。利用样本加权蒸馏策略和原型正则化网络有效应对了优化不平衡的问题。结果表明，该方法可以在多样化的应用场景中实现高鲁棒性和广泛的适应性。
研究亮点
- 方法的新颖性：提出了一种基于Transformer的跨模态分层循环融合方法。
- 样本加权蒸馏：创新性地使用样本加权蒸馏策略，改善了模型在模态缺失情况下的表现。
- 原型正则化网络：借助原型网络适应性地调整各模态的优化梯度。
重要发现及其意义
PSWD框架在大多数缺失模态情景下都表现出了较好的性能，这意味着在处理实际应用中的模态缺失时，该方法具有较高的应用价值。此外，本文的研究不仅针对情感分析，还可以扩展到其他多模态分类任务，有望在更多领域中得到应用和推广。