多模态情感分析中的互信息解耦表示学习：一项创新研究 学术背景 随着社交媒体的快速发展，用户生成的多媒体内容（如推文、视频等）数量急剧增加。这些多媒体数据通常包含三种模态：视觉（图像）、声学（语音）和文本。这些数据中隐含着丰富的情感信息，如何自动分析这些情感信息成为了一个重要挑战。多模态情感分析（Multimodal Sentiment Analysis, MSA）旨在利用多种信号来识别潜在的情感和情绪。然而，多模态表示学习是这一领域的核心挑战之一，即如何将不同模态的特征有效地整合为统一的表示。 近年来，研究者提出了两种主要方法来解决这一问题：一种方法是将多模态特征分解为模态不变（modality-invariant）和模态特定（modality-specific）的部分；另一种方法则是利用互...

对比解耦表示学习在语音保留面部表情操控中的应用 背景介绍 近年来，随着虚拟现实、影视制作以及人机交互技术的快速发展，面部表情操控（Facial Expression Manipulation）成为计算机视觉和图形学领域的研究热点之一。其中，语音保留面部表情操控（Speech-Preserving Facial Expression Manipulation, SPFEM） 的目标是在保持说话者嘴部动作与语音同步的同时，改变其面部情绪表达。这一技术不仅能够增强人类表情的表现力，还为虚拟角色生成、电影后期制作等实际应用场景提供了重要支持。 然而，SPFEM 的实现面临诸多挑战。首先，语音内容和情绪信息在自然对话中高度交织，导致难以从参考视频或源视频中有效分离这两种信息。其次，现有的方法往往依赖于...