学术背景 在机器学习和神经网络领域，持续学习（Continual Learning）是一个重要的研究方向。持续学习的目标是让模型能够在一系列任务中不断学习新知识，同时避免遗忘已经学到的旧知识。然而，现有的持续学习方法面临一个主要挑战：灾难性遗忘（Catastrophic Forgetting）。灾难性遗忘指的是模型在学习新任务时，会迅速遗忘之前学到的知识，导致旧任务的性能大幅下降。这一问题在现实应用中尤为突出，因为许多任务需要模型在不断变化的环境中持续学习和适应。 为了解决这一问题，研究者们提出了多种方法，其中基于回放的方法（Rehearsal-based Methods）是一种常见的解决方案。这类方法通过存储旧任务的代表性样本，并在学习新任务时回放这些样本来巩固旧知识。然而，现有的回放方法...

SEAFormer++——为移动视觉识别设计的高效Transformer架构 研究背景与问题提出 近年来，计算机视觉领域经历了从卷积神经网络（CNN）到基于Transformer的方法的重大转变。然而，尽管Vision Transformer在许多任务中表现出卓越的全局上下文建模能力，其高昂的计算成本和内存需求使其难以部署在移动设备上，尤其是处理高分辨率图像时。为了满足移动设备对低延迟和高效性能的需求，研究者们提出了多种轻量化方法，例如局部注意力机制、轴向注意力（Axial Attention）和动态图消息传递等。但这些方法仍无法充分解决高分辨率输入下的高延迟问题。 针对这一挑战，Qiang Wan等人提出了Squeeze-Enhanced Axial Transformer（SEAForm...

基于LiDAR引导的几何预训练方法提升视觉中心3D目标检测性能 背景介绍 近年来，多摄像头3D目标检测在自动驾驶领域受到了广泛关注。然而，基于视觉的方法在从RGB图像中精确提取几何信息方面仍面临挑战。现有的方法通常利用深度相关任务对图像骨干网络进行预训练以获取空间信息，但这些方法忽略了视角转换的关键问题，导致空间知识在图像骨干和视角转换模块之间存在错位，从而影响了性能。为了解决这一问题，本文提出了一种新颖的几何感知预训练框架——GAPretrain。 论文来源 该论文由Linyan Huang, Huijie Wang, Jia Zeng等作者撰写，他们分别来自厦门大学人工智能系、上海AI实验室OpenDriveLab以及上海交通大学。论文发表于《International Journal ...

一种通过掩码图像建模预训练探索强轻量级视觉Transformer的实验研究 学术背景 近年来，自监督学习（self-supervised learning, SSL）在计算机视觉领域取得了显著进展。特别是掩码图像建模（masked image modeling, MIM）预训练方法在大规模视觉Transformer（vision transformers, ViTs）上的成功应用，使得基于这些模型的下游任务性能得到了极大提升。然而，现有的研究主要集中在大型ViTs上，对于轻量级ViTs的预训练方法及其效果的研究相对较少。此外，尽管许多研究致力于设计复杂的轻量级ViTs架构以提高性能，但很少有工作关注如何优化预训练策略来进一步提升现有轻量级模型的表现。本文旨在探讨MIM预训练能否同样有效应用于...

研究背景与研究意义 近年来，视频理解领域中弱监督在线活动检测（Weakly Supervised Online Activity Detection, WS-OAD）作为高水平视频理解的一个重要课题，得到了广泛关注。其主要目标是通过仅使用廉价的视频级标注，在流媒体视频中逐帧检测正在进行的活动。这一任务在许多实际应用场景中具有重要价值，包括自动驾驶、公共安全监控、机器人导航及增强现实等。 尽管全监督方法（Fully Supervised Methods）已在在线活动检测（OAD）中取得了显著进展，但它们严重依赖于密集的帧级注释（Frame-level Annotations），这不仅成本高昂且易受噪声影响，从而限制了模型的扩展性。弱监督设置旨在解决这一问题，但因其在线约束（Online Con...

深度人脸识别中的模型盗用检测与保护：基于样本相关性的创新研究 背景与研究问题 近年来，深度学习技术的飞速发展显著推动了人脸识别领域的进步。然而，与此同时，商用的人脸识别模型正面临日益严峻的知识产权威胁——模型盗用攻击。模型盗用攻击允许攻击者通过对模型的黑盒或白盒访问，复制出功能等效的模型，从而规避模型所有者的检测。这种攻击不仅侵犯了模型所有者的知识产权，还可能危及商业利益和隐私安全。 为了应对这一挑战，模型指纹识别成为一种重要的盗用检测手段。传统方法主要依赖可迁移的对抗样本来生成模型指纹，但这些方法在面对对抗训练和迁移学习时表现出脆弱性。针对这一局限性，本文提出了一种基于样本相关性（Sample Correlation，SAC）的新型模型指纹识别方法，旨在提升模型盗用检测的鲁棒性和效率。 研...

非侵入性胶质瘤分级研究综述：基于知识蒸馏的轻量级卷积神经网络 背景介绍 胶质瘤是中枢神经系统的主要肿瘤，早期检测非常重要。世界卫生组织（WHO）将胶质瘤分为Ⅰ至Ⅳ级，Ⅰ和Ⅱ级为低级胶质瘤（LGG），Ⅲ和Ⅳ级为高级胶质瘤（HGG）。准确分类胶质瘤对于生存率评估至关重要。 磁共振成像（MRI）是医学领域诊断和治疗胶质瘤的常用方法。目前，许多学者应用机器学习和深度学习方法进行胶质瘤分类。例如，Zacharaki等人成功应用支持向量机（SVM）算法在MRI图像中分类胶质瘤。而Fatemeh等人采用卷积神经网络（CNN）对MRI图像中的胶质瘤进行分类。遗憾的是，这些研究多集中在提高分类精度，但高参数的CNN架构难以在实际医疗环境中应用。此外，由于胶质瘤数据集较小，他们只能使用具有较少参数的CNN，因而...

近年来，隐私保护和大规模数据传输等应用场景对数据的不可访问性提出了严峻挑战，因此，研究人员通过提出数据无关知识蒸馏（Data-Free Knowledge Distillation，简称DFKD）方法，来解决这些问题。知识蒸馏（Knowledge Distillation，简称KD）是一种训练轻量级模型（学生模型）使其从深度预训练模型（教师模型）中学习知识的方法。然而，传统的知识蒸馏方法要求具有可用的训练数据，这在隐私保护和大规模数据传输场景下是不现实的。本文提出了一种新的DFKD方法——Adaptive Data-Free Knowledge Distillation（简称AdaDFKD），旨在解决现有DFKD方法中目标分布静态和实例级分布学习的局限性，通过建立和利用伪样本间的关系，实现对...

以原型为基础的样本加权蒸馏统一框架应用于缺失模态情感分析 研究背景 情感分析是自然语言处理(NLP)中的一个重要领域，随着社交媒体平台的发展，人们越来越倾向于通过简短的视频片段来表达他们的情感。这导致多模态数据的快速增长。然而，现实生活中经常会遇到模态缺失的情况，例如由于音频丢失、摄像头遮挡或语音转录错误等问题。在这种情况下，对缺失模态的情感分析成为一个具有挑战性的重要议题。多模态的异质性在尝试对所有模态在多模态网络上优化相同目标时，往往导致优化的不平衡问题，尤其是在模态缺失的情况下。现有的研究在处理模态缺失时，常常忽略了网络优化的不平衡问题。 研究来源 这篇论文由山东师范大学信息科学与工程学院的张玉娟、刘芳娥、庄旭强、侯英和张玉灵共同撰写，论文发表于2024年5月20日的《Neural N...

合成辅助预训练和补丁级特征对齐的多类别宫颈病变细胞检测蒸馏 背景与研究意义 宫颈癌是一种严重威胁女性生命和健康的疾病。根据国际癌症研究机构（IARC）的数据显示，2020年全球新增宫颈癌病例约为60.4万例，死亡病例约为34.2万例（Sung et al., 2021）。早期诊断和筛查宫颈癌能够有效预防和治疗，而延误诊断则会增加严重并发症和生命危险的风险（Schiffman, Castle, Jeronimo, Rodriguez, & Wacholder, 2007）。目前，全球各地的健康组织均推荐进行早期筛查作为预防和治疗宫颈癌的一种有效方法（A. C. of Obstetricians, Gynecologists et al., 2010）。其中，液基薄层细胞检测（TCT）是检测宫颈...