基于课程学习的记忆辅助知识转移框架用于弱监督在线活动检测

研究背景与研究意义 近年来,视频理解领域中弱监督在线活动检测(Weakly Supervised Online Activity Detection, WS-OAD)作为高水平视频理解的一个重要课题,得到了广泛关注。其主要目标是通过仅使用廉价的视频级标注,在流媒体视频中逐帧检测正在进行的活动。这一任务在许多实际应用场景中具有重要价值,包括自动驾驶、公共安全监控、机器人导航及增强现实等。 尽管全监督方法(Fully Supervised Methods)已在在线活动检测(OAD)中取得了显著进展,但它们严重依赖于密集的帧级注释(Frame-level Annotations),这不仅成本高昂且易受噪声影响,从而限制了模型的扩展性。弱监督设置旨在解决这一问题,但因其在线约束(Online Con...

基于少量标注像素和点云的弱监督驾驶场景语义分割

基于少量像素标注与点云数据的驾驶场景弱监督语义分割 背景与研究问题 语义分割作为计算机视觉的重要任务之一,在自动驾驶等领域具有广泛应用。然而,传统的全监督语义分割方法需要大量的像素级标注,标注成本高昂。在弱监督语义分割(Weakly Supervised Semantic Segmentation, WSSS)中,通过较少的粗粒度标注(如图片标签、边框、点级标注等)实现像素级分割,极大地降低了标注成本。 现有的WSSS方法大多基于CAM(类激活图)生成初始分割种子,但在复杂的驾驶场景中,这种方法表现不佳。驾驶场景中的图像通常包含多种物体类别,且类别间的遮挡、重叠问题严重,导致现有基于图片标签的WSSS方法难以达到高精度分割效果。 针对这些问题,本研究提出了一种结合少量点标注和点云数据的新型W...

面向程序感知的弱监督协作程序对齐框架研究

基于弱监督的协作式程序对齐框架:在指令视频相关性学习中的应用与评估 近年来,随着视频分析领域的快速发展,指令视频因其目标驱动的特性和与人类学习过程的内在关联,吸引了研究者越来越多的关注。相比于普通视频,指令视频包含多个细粒度的步骤,这些步骤具有不同的持续时间和时间位置,形成了更加复杂的程序结构。本研究提出了一种名为协作式程序对齐(Collaborative Procedure Alignment, CPA)的弱监督框架,用于在指令视频中进行程序感知的相关性学习。这一框架的核心特点在于无需依赖昂贵的步骤级标注,通过协作提取步骤信息并量化视频间的程序相关性,显著提升了指令视频相关性学习的效率和效果。 研究背景与问题提出 指令视频相关性学习(Video Correlation Learning, ...