基于文本引导的重构网络在多模态情感分析中的应用 学术背景 多模态情感分析（Multimodal Sentiment Analysis, MSA）是一项旨在整合文本、视觉和声学信号中的情感表达的研究领域。随着用户生成在线内容的丰富，MSA在提高情感理解和人机交互方面展现出巨大潜力。然而，现有的MSA方法面临两个主要问题：1）在未对齐的多模态数据中，文本的主导作用未被充分利用；2）在不确定缺失模态的情况下，模态的探索不足。这些问题导致情感判断的准确性受到限制，尤其是在实际应用中，背景噪音、传感器故障、面部缺失/遮挡、光线条件不佳、转录缺失等因素可能导致模态的随机缺失。 为了解决这些问题，研究者提出了一种基于文本引导的重构网络（Text-Guided Reconstruction Network,...

大型语言模型如何应对虚假信息？——基于LLMs的深度研究 在当今信息传播速度飞快的数字时代，虚假信息（misinformation）和假新闻（fake news）的传播已成为社会的重大挑战。互联网和社交媒体的普及使得信息共享的门槛大幅降低，任何人都可以在未经验证的情况下传播内容，而社交平台的算法又倾向于优先展示争议性或引发强烈情绪的内容，从而加速了误导性信息的扩散。此外，随着生成式人工智能（generative artificial intelligence）的发展，特别是大型语言模型（Large Language Models, LLMs）的普及，这些模型不仅可以生成高质量的自然语言，还可能被用于伪造信息，使得传统的虚假信息检测方法难以应对。 在此背景下，《Silver Lining in...

以原型为基础的样本加权蒸馏统一框架应用于缺失模态情感分析 研究背景 情感分析是自然语言处理(NLP)中的一个重要领域，随着社交媒体平台的发展，人们越来越倾向于通过简短的视频片段来表达他们的情感。这导致多模态数据的快速增长。然而，现实生活中经常会遇到模态缺失的情况，例如由于音频丢失、摄像头遮挡或语音转录错误等问题。在这种情况下，对缺失模态的情感分析成为一个具有挑战性的重要议题。多模态的异质性在尝试对所有模态在多模态网络上优化相同目标时，往往导致优化的不平衡问题，尤其是在模态缺失的情况下。现有的研究在处理模态缺失时，常常忽略了网络优化的不平衡问题。 研究来源 这篇论文由山东师范大学信息科学与工程学院的张玉娟、刘芳娥、庄旭强、侯英和张玉灵共同撰写，论文发表于2024年5月20日的《Neural N...