以原型为基础的样本加权蒸馏统一框架应用于缺失模态的情感分析

以原型为基础的样本加权蒸馏统一框架应用于缺失模态的情感分析

以原型为基础的样本加权蒸馏统一框架应用于缺失模态情感分析 研究背景 情感分析是自然语言处理(NLP)中的一个重要领域,随着社交媒体平台的发展,人们越来越倾向于通过简短的视频片段来表达他们的情感。这导致多模态数据的快速增长。然而,现实生活中经常会遇到模态缺失的情况,例如由于音频丢失、摄像头遮挡或语音转录错误等问题。在这种情况下,对缺失模态的情感分析成为一个具有挑战性的重要议题。多模态的异质性在尝试对所有模态在多模态网络上优化相同目标时,往往导致优化的不平衡问题,尤其是在模态缺失的情况下。现有的研究在处理模态缺失时,常常忽略了网络优化的不平衡问题。 研究来源 这篇论文由山东师范大学信息科学与工程学院的张玉娟、刘芳娥、庄旭强、侯英和张玉灵共同撰写,论文发表于2024年5月20日的《Neural N...