基于CNN与Dilated Sampling Self-Attention的ABVS乳腺肿瘤分割研究 学术背景 乳腺癌是全球范围内第二大常见癌症，早期和准确的检测对于改善患者预后和降低死亡率至关重要。尽管目前有多种成像技术（如X线乳腺摄影、磁共振成像和手持超声）被用于乳腺癌的早期筛查，但这些技术往往面临分辨率有限或操作依赖性强等问题。为了解决这些问题，自动化乳腺容积扫描仪（Automated Breast Volume Scanner, ABVS）应运而生。ABVS能够自动获取整个乳房的全面视图，但其图像分析仍然具有挑战性，主要由于乳腺肿瘤在大小、形状和位置上的显著差异。近年来，深度学习在医学图像分析中取得了显著进展，尤其是卷积神经网络（CNN）和变换器（Transformer）在肿瘤分割和...

基于高阶运动流的共轭视觉表征持续学习：CMOSFET模型的研究 学术背景 在人工智能和计算机视觉领域，如何从连续的视觉数据流中进行持续学习（Continual Learning）是一个长期存在的挑战。传统的机器学习方法通常依赖于独立同分布（i.i.d.）的假设，即所有训练数据在训练时是静态且可用的。然而，现实世界中的视觉数据往往是连续的、非独立同分布的，这给模型的训练带来了巨大的困难。此外，现有的无监督学习方法大多依赖于大规模的离线训练数据集，这与人类和动物通过连续体验环境进行学习的方式截然不同。 为了解决这些问题，Simone Marullo、Matteo Tiezzi、Marco Gori和Stefano Melacci等研究人员提出了一种新的无监督持续学习模型，名为CMOSFET（Co...

基于自监督学习的神经内窥镜实时3D重建与导航研究 学术背景 神经内窥镜手术（neuroendoscopy）作为一种微创手术技术，广泛应用于脑深部病变的治疗，如内镜下第三脑室造瘘术（endoscopic third ventriculostomy, ETV）、脉络丛烧灼术、囊肿开窗术等。然而，手术过程中由于脑组织移位（brain shift）和脑脊液（cerebrospinal fluid, CSF）流失，脑深部结构会发生几何形变，这给传统的基于术前影像的神经导航（neuronavigation）带来了挑战。传统导航系统通常依赖于术前磁共振（MRI）或计算机断层扫描（CT）影像的刚性配准（rigid registration），无法实时更新术中组织形变，导致导航精度下降。 为了解决这一问题，研...

基于事件相机的自监督快门展开方法 研究背景与问题提出 在计算机视觉领域，从滚动快门（Rolling Shutter, RS）图像中恢复无失真的全局快门（Global Shutter, GS）视频一直是一个极具挑战性的问题。RS 相机由于逐行曝光机制，在动态场景中容易产生空间扭曲（如抖动和倾斜），这在高速运动场景中尤为明显。尽管现有的方法可以通过人工假设或特定数据集的特性来纠正 RS 效应，但这些方法往往在复杂非线性运动的真实场景中表现不佳。此外，许多方法依赖于合成数据集进行训练，导致在真实场景中性能下降，即所谓的“合成到真实”差距。 为了解决这些问题，本文作者提出了一种基于事件相机的自监督学习框架——SelfUnroll，旨在通过利用事件相机的高时间分辨率信息，实现从 RS 图像到连续时间 ...

基于高流视频的自监督生产异常检测与进度预测 背景介绍 在现代化的制造业中，实时生产监控、进度预测和异常检测是确保生产质量和效率的关键。然而，传统的基于视觉的异常检测方法在处理生产过程中的背景噪声方面存在显著不足，且往往忽略了生产阶段的异质性。许多制造环境，如飞机生产，涉及人机协作或高精度手动装配任务，这些操作通常难以通过嵌入式数字传感器进行监控，而实时操作视频却易于获取。虽然视觉生产监控已在产品表面检测等应用中广泛使用，但现有算法在区分正常背景变化与生产相关异常方面仍面临挑战。 为了解决这些问题，来自清华大学工业工程系的Yifan Li等人提出了一种集成方法，将进度预测与异常检测相结合，采用自编码过程概率嵌入（Autoencoder Process Probability Embedding...

克服单粒子冷冻电镜中的优选取向问题：深度学习的创新解法 背景介绍 近年来，单粒子冷冻电子显微镜（Single-Particle Cryo-EM）技术因其能够解析生物大分子在接近天然状态下的原子分辨率结构，已成为结构生物学领域的核心技术。然而，在实际应用中，研究者一直面临一个棘手的技术瓶颈，即“优选取向”（Preferred Orientation）问题。这一问题主要由于生物分子在冷冻电镜网格上分布不均，导致在某些方向上的数据采样不足。这种取向偏差通常是由样品制备过程中分子与空气-水界面（Air-Water Interface, AWI）或支撑膜-水界面的相互作用引起的。 优选取向问题在三维重构中显得尤为突出，因为它带来的各向异性（Anisotropy）会使三维结构受损，甚至失真，具体表现为二...

学术背景与问题提出 近年来，深度神经网络在计算机视觉领域取得了显著进展，尤其是在图像识别、目标检测和语义分割等任务中。然而，当面对长尾分布（long-tailed distribution）数据时，即使是目前最先进的深度模型也表现不佳。长尾分布指的是数据集中少数类（tail classes）的样本数量远远少于多数类（head classes）的样本数量。这种数据不平衡问题在许多实际应用中普遍存在，例如管道故障检测和人脸识别等。 长尾图像识别的主要挑战在于如何有效处理数据不平衡问题，尤其是如何提升少数类的泛化性能。常见的解决方案包括重采样（re-sampling）、损失重加权（loss re-weighting）和数据增强（data augmentation）等。然而，这些方法往往无法从根本上...

基于高阶几何结构建模的点云无监督领域适配 研究背景及动因 点云数据是一种描述三维空间的关键数据形式，广泛应用于自动驾驶、遥感等现实场景中。点云可以捕获精确的几何信息，但在跨设备或跨场景应用时，采集点云的几何特性可能会由于传感器噪声、采样方式及环境影响而发生显著改变。这种显著的几何变化（即领域间差距，domain gap），导致了在一个领域进行训练的神经网络难以在其他领域上保持性能。这一问题限制了点云深度学习方法在实际应用中的推广。 目前，无监督领域适配（Unsupervised Domain Adaptation, UDA）为解决这一问题提供了一种有效途径。其核心目标是将源领域（有标签数据）的知识迁移至目标领域（无标签数据），通过学习共享结果的跨域特征表征来缩小领域间差距。然而，已有方法主要...

学术背景 电压成像（voltage imaging）是一种用于研究神经元活动的强大技术，但其有效性通常受到低信噪比（SNR）的限制。传统的去噪方法，如矩阵分解，对噪声和信号结构施加了严格的假设，而现有的深度学习方法未能完全捕捉电压成像数据中固有的快速动态和复杂依赖关系。为了解决这些问题，本文提出了一种名为CellMincer的新型自监督深度学习方法，专门用于去噪电压成像数据集。CellMincer通过掩码和预测短时间窗口内的稀疏像素集，并结合预计算的时空自相关来有效建模长程依赖关系，从而显著提高了去噪效果。 电压成像利用荧光报告分子（如小分子染料或基因编码的蛋白质）来测量电活性细胞的膜电位。与传统的膜片钳电生理学（patch-clamp electrophysiology, EP）相比，电压...

自蒸馏的掩码图像transformer在纵向MRI中的潜力——自动分割颈部淋巴结转移 报告介绍 在肿瘤放疗中，自动分割技术承诺提升速度并降低手工分割带来的读者间差异。在放射肿瘤学临床实践中，精确快速的肿瘤分割对于患者的个性化治疗至关重要。Ramesh Paudyal等来自Memorial Sloan Kettering Cancer Center的研究人员开展了这一项研究，旨在实现并评估“屏蔽图像变压器”（masked image modeling using vision transformers，即SMIT）算法在口咽部鳞状细胞癌患者的纵向T2加权MRI图像中的颈部淋巴结转移的自动分割精度。 这篇论文发表在《BJR|Artificial Intelligence》2024年第1期。这项研...