基于视觉语言整合的零样本人-物交互检测研究

人工智能 计算机科学 信息科学
人-物交互检测 多模态整合 零样本学习 弱监督学习 视觉语言模型

基于视觉语言整合的零样本人-物交互检测研究

基于视觉-语言整合的零样本人-物交互检测研究

学术背景

人-物交互（Human-Object Interaction, HOI）检测是计算机视觉领域的一个重要研究方向，旨在识别图像中人与物体之间的交互行为。传统的HOI检测方法主要依赖于监督学习，即需要大量的人工标注数据来训练模型。然而，这种方法在面对未见过的物体类别时，泛化能力有限。此外，现实世界中的人-物交互种类繁多且复杂，手动标注所有可能的交互类别既耗时又费力。

近年来，随着视觉-语言模型（Vision-Language Models, VLM）的快速发展，零样本学习（Zero-Shot Learning）成为了一个热门研究方向。零样本学习的目标是让模型能够识别在训练过程中从未见过的类别。基于这一背景，作者提出了一种名为“知识整合到HOI”（Knowledge Integration to HOI, KI2HOI）的新框架，旨在通过整合视觉-语言模型的知识，提升零样本HOI检测的性能。

论文来源

这篇论文由Weiying Xue, Qi Liu, Yuxiao Wang, Zhenao Wei, Xiaofen Xing, 和 Xiangmin Xu共同撰写，他们均来自South China University of Technology（华南理工大学）。论文发表于Neural Networks期刊，2025年第187卷，论文编号为107348。

研究流程

1. 研究框架设计

KI2HOI框架的核心思想是通过视觉-语言模型的知识整合，提升零样本HOI检测的性能。具体来说，框架包括以下几个主要模块：

  • 视觉编码器（Visual Encoder）：提取图像的全局视觉特征。
  • 动词特征学习（Verb Feature Learning）：通过动词查询（Verb Queries）提取与交互相关的特征。
  • 实例交互器（Instance Interactor）：定位人-物对并分类物体类别。
  • 交互语义表示（Interaction Semantic Representation, ISR）：整合视觉和语言知识，生成交互表示。

2. 视觉编码器

视觉编码器基于DETR（Detection Transformer）模型，使用ResNet-50作为骨干网络。为了增强全局特征的提取能力，作者提出了一个HO对编码器（HO-Pair Encoder），该编码器由局部编码器和全局上下文生成器组成，能够有效地捕捉图像中的上下文信息。

3. 动词特征学习

动词特征学习模块通过动词查询与全局视觉特征的交互，提取与交互相关的特征。具体来说，作者设计了一个自注意力和多头注意力结合的模块，以及一个前馈网络（Feed-Forward Network, FFN）层，用于更新动词查询。

4. 交互语义表示

交互语义表示模块通过整合视觉和语言知识，生成交互表示。具体来说，作者设计了一个交互表示解码器，该解码器通过多头交叉注意力机制，将视觉特征和空间特征结合起来，增强交互表示的能力。

5. 训练与推理

在训练阶段，作者使用匈牙利算法（Hungarian Algorithm）进行预测与真实值的匹配，并设计了多种损失函数，包括边界框回归损失、交互分类损失等。在推理阶段，模型通过整合人、物体和动词的得分，生成最终的HOI预测结果。

主要结果

1. 零样本检测

作者在HICO-DET数据集上进行了多种零样本设置的实验，结果表明，KI2HOI在未见过的交互类别上表现出色，尤其是在稀有类别（Rare Categories）上的表现显著优于现有方法。例如，在稀有优先未见组合（RF-UC）设置下，KI2HOI在未见类别上的平均精度（mAP）比现有最佳方法提高了23.26%。

2. 全监督检测

为了验证模型的泛化能力，作者还在HICO-DET和V-COCO数据集上进行了全监督实验。结果表明，KI2HOI在全类别和稀有类别上的表现均优于现有方法，尤其是在稀有类别上的表现更为突出。

3. 鲁棒性分析

作者还研究了模型在不同数据量下的鲁棒性。结果表明，即使在训练数据量减少到25%的情况下，KI2HOI在稀有类别上的表现仍然显著优于现有方法，证明了其在实际应用中的潜力。

结论与意义

KI2HOI框架通过整合视觉-语言模型的知识，显著提升了零样本HOI检测的性能。该框架不仅在零样本设置下表现出色，在全监督设置下也展现了强大的泛化能力。此外，KI2HOI在稀有类别上的表现尤为突出，为解决HOI检测中的长尾分布问题提供了新的思路。

研究亮点

  1. 新颖的框架设计：KI2HOI框架通过整合视觉-语言模型的知识，显著提升了零样本HOI检测的性能。
  2. 强大的泛化能力：KI2HOI不仅在零样本设置下表现出色，在全监督设置下也展现了强大的泛化能力。
  3. 鲁棒性分析：即使在训练数据量减少的情况下，KI2HOI在稀有类别上的表现仍然显著优于现有方法，证明了其在实际应用中的潜力。

其他有价值的信息

这篇论文为HOI检测领域提供了新的研究方向，尤其是在零样本学习和长尾分布问题上的探索，具有重要的学术价值和实际应用意义。