通过掩码图像建模预训练探索轻量级视觉Transformer的实验研究

一种通过掩码图像建模预训练探索强轻量级视觉Transformer的实验研究 学术背景 近年来,自监督学习(self-supervised learning, SSL)在计算机视觉领域取得了显著进展。特别是掩码图像建模(masked image modeling, MIM)预训练方法在大规模视觉Transformer(vision transformers, ViTs)上的成功应用,使得基于这些模型的下游任务性能得到了极大提升。然而,现有的研究主要集中在大型ViTs上,对于轻量级ViTs的预训练方法及其效果的研究相对较少。此外,尽管许多研究致力于设计复杂的轻量级ViTs架构以提高性能,但很少有工作关注如何优化预训练策略来进一步提升现有轻量级模型的表现。本文旨在探讨MIM预训练能否同样有效应用于...

通过前背景时空建模的视频心率与呼吸率估算方法

基于视频的心率与呼吸率估算的新方法 背景与研究动机 心率(Heart Rate,HR)和呼吸率(Respiratory Rate,RR)是反映心肺功能的重要生理指标,被广泛应用于医学、健康监测以及心理与行为研究中。传统上,这些参数常通过接触式传感器测量,例如使用心电图(Electrocardiography,ECG)或光电容积描记法(Photoplethysmography,PPG)测量HR,通过呼吸带或气流测量仪测量RR。然而,接触式方法在日常生活中使用受到诸多局限,包括设备佩戴的舒适性、可能的皮肤刺激以及不适合某些场景的应用需求(如远程监测)。 近年来,基于视频的非接触式生理信号估算逐渐吸引了研究者的关注,这种方法通过视频捕捉皮肤颜色细微变化或身体运动变化,无需接触即能估算HR和RR。但...