多尺度视觉中枢引导的多模态神经机器翻译：文本感知的跨模态对比解耦

学术背景

多模态神经机器翻译（Multi-Modal Neural Machine Translation, MNMT）旨在将语言无关的视觉信息引入文本以提升机器翻译的性能。然而，由于图像和文本在模态上的显著差异，这两者之间不可避免会出现语义不匹配的问题。解决这些问题的目标在于通过使用分解的多尺度视觉信息作为跨语言中枢，提高不同语言之间的对齐，从而改进MNMT的表现。

论文来源

这篇论文由朱俊俊、苏瑞和叶俊杰等研究人员撰写，作者分别来自昆明理工大学信息工程与自动化学院、云南大学信息科学与工程学院以及云南省人工智能重点实验室。论文将在2024年发表于著名期刊”Neural Networks”。

研究流程

研究工作主要分为以下几个步骤：

1. 提出多尺度视觉中枢引导的多模态融合策略： 作者创建了一个名为”ConVisPiv-MNMT”的框架，通过跨模态对比解耦消除不同语言间的语言鸿沟。使用文本引导的堆叠跨模态解耦模块，将图像逐步解耦为两种类型的视觉信息：与机器翻译（MT）相关的视觉信息和背景信息。

2. 建立文本引导的跨模态解耦策略： 在堆叠的Transformer编码层中，设计出一种文本引导的跨模态解耦策略，使之在每一层中将视觉特征解耦为文本相关和背景视觉信息。通过跨模态门控机制实现视觉信息的粗略解耦，并将其层层嵌入文本中。

3. 设计多尺度视觉引导的Transformer解码器： 使用两种解耦的视觉信息作为视觉中枢以缩小语言间的鸿沟。包含三个主要组件：目标句子的嵌入、跨语言对齐模块和多尺度视觉中枢增强的目标表现。

研究结果

此方法在四个基准MNMT数据集上的广泛实验表明，提出的方法在所有测试集中均优于其它最先进的方法。在实验过程中：

• 在多尺度视觉信息融合方面取得显著改善： 通过逐层解耦图像信息，实现了更高的跨语言对齐精度和更好的目标句子生成效果。实验中，通过在”Multi30k”数据集上的对比，可以看到此算法在多项指标（如BLEU和METEOR）上均有显著提升。
• 对比分析的有效性： 对比分析显示，文本引导的跨模态解耦和视觉中枢多模态融合策略为MNMT带来的性能提升效果显著。

具体实验结果的数据如下：

• “Multi30k”数据集上，提案方法在英-德和英-法翻译任务上比其他最先进的方法提高1-2.3个BLEU和METEOR分数。
• 提案方法还在Fashion-MMT等特定领域和多领域的数据集上展现了其优越的鲁棒性和通用性，分别在英-中、英-德、英-西、英-法等多个语言对上取得了最高的翻译分数。

结论与价值

此研究通过引入多尺度视觉中枢引导的多模态融合策略，成功消除了不同语言间的语义鸿沟，显著提升了MNMT的翻译性能。其科学价值在于创新性地结合文本和视觉信息解耦策略，为机器翻译提供了更精确的多模态融合框架。应用价值则体现在能够有效处理不同领域和多领域的翻译任务，具有较强的鲁棒性和广泛的应用前景。

研究亮点

1. 方法新颖性： 提出了一种多尺度视觉中枢引导的多模态融合策略，通过文本引导的跨模态对比解耦，显著降低了语言间的语义鸿沟。
2. 实验结果优异： 在多项数据集上均展示了相对于现有方法的显著性能提升，同时具备一定的通用性和鲁棒性。
3. 视觉信息的有效性： 实验证明了视觉信息在提升机器翻译性能中的潜在价值，即便在不同质量的视觉信息场景下，方法依然表现出色。

其他有价值的信息

1. 视觉信息在不同场景下的鲁棒性测试： 作者通过在不同质量的视觉信息场景（如高质量、加噪声、无关视觉信息和空白视觉信息）中进行实验，验证了视觉信息对机器翻译性能的影响。结果证明，在所有测试场景下，提出的方法均能保持较高的性能，特别是在高噪声和无关视觉信息场景下，仍然表现出良好的鲁棒性。

2. 复杂性与计算成本的评估： 通过引入多项计算复杂度指标（包括模型参数数量、浮点运算和GPU利用率），评估了所提方法的计算效率。实验表明，尽管此方法在计算成本上略高于其他方法，但其显著的性能提升并未显著增加模型参数或牺牲模型效率，验证了方法的有效性和计算可行性。

该研究通过对传统机器翻译方法的创新融合，结合多模态信息，为机器翻译领域提供了新的思路和方法，有望进一步推动该领域的发展。