基于课程学习的记忆辅助知识转移框架用于弱监督在线活动检测

2024-11-24 Sun
研究背景与研究意义近年来，视频理解领域中弱监督在线活动检测（Weakly Supervised Online Activity Detection, WS-OAD）作为高水平视频理解的一个重要课题，得到了广泛关注。其主要目标是通过仅使用廉价的视频级标注，在流媒体视频中逐帧检测正在进行的活动。这一任务在许多实际应用场景中具有重要价值，包括自动驾驶、公共安全监控、机器人导航及增强现实等。
尽管全监督方法（Fully Supervised Methods）已在在线活动检测（OAD）中取得了显著进展，但它们严重依赖于密集的帧级注释（Frame-level Annotations），这不仅成本高昂且易受噪声影响，从而限制了模型的扩展性。弱监督设置旨在解决这一问题，但因其在线约束（Online Constraint）及监督信号稀疏性，使得现有方法在分类及活动开始点识别方面仍面临较大挑战。因此，如何有效利用离线知识以提升模型性能成为了本研究的核心问题。
为了解决上述问题，论文《A Memory-Assisted Knowledge Transferring Framework with Curriculum Anticipation for Weakly Supervised Online Activity Detection》提出了一种记忆增强的知识蒸馏框架（Memory-Assisted Knowledge Distillation Framework），结合课程学习（Curriculum Learning）策略以实现对未来语义的逐步推断，从而改进在线活动检测任务的效果。
论文来源与作者背景该论文由南京邮电大学（Nanjing University of Posts and Telecommunications）的Tianshan Liu和Bing-kun Bao，香港理工大学（The Hong Kong Polytechnic University）的Kin-Man Lam，以及深圳鹏城实验室（Peng Cheng Laboratory）的相关研究人员共同撰写，发表在International Journal of Computer Vision上（DOI: https://doi.org/10.1007/s11263-024-02279-1）。论文于2023年7月19日收到稿件，2024年10月10日被正式接受。
研究方法与技术框架整体框架设计研究提出的模型基于教师-学生架构（Teacher-Student Framework），其中：
1. 教师模型（Teacher Model）：离线模式下运行，通过全视频序列学习完整的上下文信息，并将活动语义原型存储到外部记忆库。
2. 学生模型（Student Model）：在线模式下运行，仅利用当前帧及历史信息进行逐帧预测，同时通过课程学习策略逐步学习未观察到的未来语义。
框架特点：
- 记忆增强：引入外部记忆库（Memory Bank）存储离线模型学到的长期活动原型，以弥合离线和在线模型之间的信息鸿沟。
- 课程学习：动态调节提供的未来状态比例，逐步从“易到难”训练在线学生模型，以弥补未来语义的不足。
详细技术实现1. 记忆增强的教师-学生架构教师模型通过全视频序列的特征提取生成活动预测分数，并将长期活动语义存储到记忆库。记忆库中的活动原型通过余弦相似性机制与输入帧建立关联，为学生模型提供上下文信息。
学生模型在仅有当前观测的情况下，通过课程学习策略逐步学习未来语义。通过在训练初期引入实际的未来帧并逐步替换为可学习查询（Learnable Queries），学生模型学习在无未来信息的情况下对当前时间步进行准确预测。
2. 课程学习策略论文采用动态课程学习（Dynamic Curriculum Learning），根据预测质量动态调节课程难度。具体地，学生模型首先在充足未来语义辅助下进行训练，随后逐步减少未来信息比例，引入学习查询以增强推断能力。这种自适应策略有效避免了预测错误的累积。
3. 知识蒸馏机制论文采用双层次知识蒸馏（Dual-Level Knowledge Distillation）：
- 表征层蒸馏（Representation-Level Distillation）：通过关注边界帧（Boundary Frames），让学生模型更精确地模仿教师模型的局部特征。
- 预测层蒸馏（Prediction-Level Distillation）：使用教师模型的帧级伪标签（Pseudo-labels）指导学生模型的学习，提供更细粒度的监督信号。
创新点与亮点记忆库的引入：外部记忆库存储了长期活动原型，不仅作为教师与学生模型之间的桥梁，还在推断阶段为学生模型提供稳定的上下文支持。
课程学习增强：通过动态调整未来信息比例，学生模型逐步适应无未来信息的在线检测任务。
双层次蒸馏策略：从表征和预测层次全面提升学生模型的检测能力。
实验设计与结果实验数据与评价指标实验在三个公开数据集上进行：THUMOS14、ActivityNet1.2和ActivityNet1.3，采用平均帧级精度（Mean Frame-wise Average Precision, F-AP）和活动起始点精度（Point-wise Average Precision, P-AP）作为评价指标。
实验结果分析1. 整体性能对比在THUMOS14数据集上，论文方法在弱监督条件下的F-AP为55.6%，优于所有基线方法；在ActivityNet1.2上，其F-AP达68.3%，同样显著领先。
在活动起始点检测（Activity-Start Detection）任务中，论文方法在多种时间差阈值下均表现优异，特别是在较低阈值（如1秒）下，相比传统方法实现了至少0.6%的性能提升。
2. 记忆库的作用通过消融实验，验证了记忆库在存储和回调活动语义方面的关键作用。尤其是在稀疏正则化损失（Sparsity Regularization Loss）的约束下，记忆库能有效抑制背景干扰，进一步提升检测性能。
3. 课程学习的效果相比固定课程策略（如线性或指数调度），动态课程学习策略展现出更好的性能。这表明课程难度的动态调整对模型学习未来语义起到了重要作用。
4. 双层次知识蒸馏的贡献表征层和预测层蒸馏策略分别带来了2.1%和10.7%的性能提升，二者的结合进一步实现了最优的检测结果。
可视化与直观分析检测结果可视化：论文方法能准确捕捉活动边界，并在复杂场景中保持较高的检测信心。
特征表征可视化：T-SNE投影显示，与输入特征相比，记忆增强后的特征在类内更加紧凑，同时保持了不同类之间的分布关系。
结论与展望论文通过提出一种基于记忆增强的知识蒸馏框架，并结合课程学习策略，实现了弱监督在线活动检测的性能突破。其动态课程学习策略和双层次蒸馏机制为该领域带来了新的思路。未来，研究可探索如何在更多实际应用场景中扩展该框架，并进一步优化其计算效率。