基于高阶奇异值分解的高效滤波器剪枝方法

背景介绍 网络剪枝(Network Pruning)是设计高效卷积神经网络(CNNs)模型的重要技术。其通过减少内存占用和计算要求,同时保持或提高总体性能,使得在资源受限设备(如手机或嵌入式系统)上部署CNNs变得可行。当前的假设是许多模型参数过多,即包含大量不必要或冗余的参数,剪枝这些冗余参数可以生成更小且更高效的模型,这不仅适用于资源受限设备,还可以在某些情况下提高模型的泛化能力。 现有的剪枝方法中,滤波器剪枝(Filter Pruning)和权重剪枝(Weight Pruning)都是流行的技术。权重剪枝是一种非结构化剪枝,指根据个别权重的重要性对其进行剪枝而不考虑任何特定的结构或模式。而滤波器剪枝则是结构化剪枝方法的一种,它依据某些标准对整个滤波器进行剪枝,同时保持网络的整体结构。 ...

基于卷积神经网络对头部冲击动力学测量去噪的研究与应用

基于卷积神经网络对头部冲击动力学测量去噪的研究与应用 研究背景 轻度脑外伤(MTBI)是一种全球性的健康威胁。人类在诸如跌倒、交通事故和运动等情况下常面临MTBI的风险。据统计,2016年全球有超过2700万例脑外伤病例,其中80%为“轻度”脑外伤,即症状相对较轻但可能引发长期病理变化。MTBI病情分类通常通过格拉斯哥昏迷量表评分进行,分数高于12的患者被归类为轻度脑外伤患者。虽然急性期后症状可能迅速恢复,但长期来看患者可能会出现慢性创伤性脑病(CTE)等并发症。 为了量化头部冲击对脑的影响,研究人员开发了多种可穿戴传感器技术来测量头部运动学参数,这些系统包括头部冲击遥测系统(HITS)、XPatch、头带/头巾传感器以及装置在牙托上的传感器。然而,由于这些传感器与人体接口的固有不完美,它们...

基于领域对抗训练CNN实现在线注意力解码的脑机接口

基于领域对抗训练CNN实现在线注意力解码的脑机接口

跨主体脑机接口:基于卷积神经网络的领域对抗训练实现实时注意力解码 学术背景 注意力解码在我们日常生活中扮演着至关重要的角色,其基于脑电图(EEG)的实现已经引起了广泛关注。然而,由于EEG信号在个体间的显著差异性,为每个人训练一个通用的模型在实践中是不可行的。因此,本文提出了一种端到端的脑机接口(BCI)框架,旨在解决这一挑战,特别是利用了时间和空间的一维卷积神经网络(1D CNN)及领域对抗训练策略(Domain-Adversarial Training)。 传统注意力解码方法通常依赖于预定义的特征提取和模式分类技术,如线性判别分析(LDA)和支持向量机(SVM),但这些方法在处理跨主体数据时表现出局限。另外,深度学习方法虽然在分类性能上表现出色,但如何处理EEG信号的显著个体差异性依旧是...

GMConv:实现对神经网络卷积核有效感受野的调节

GMConv:实现对神经网络卷积核有效感受野的调节 前言 卷积神经网络(Convolutional Neural Networks,简称CNNs)通过卷积核的使用在计算机视觉任务上取得了显著的成功,包括图像分类、目标检测等。然而,近年来视觉转换器(Vision Transformers,简称ViTs)的出现逐渐受到关注,因为它们在视觉识别任务中表现优异,有时甚至超越了CNNs。尽管如此,改善CNNs的努力从未止步,许多研究工作致力于设计新的CNN架构,特别是大核卷积CNNs在准确性等方面展现了与最先进的ViTs相媲美的表现。 本文研究的重点在于CNN中的有效感受野(Effective Receptive Fields,简称ERFs),ERF表示特定输入像素对输出像素的贡献。研究发现ERFs通...

基于自监督深度学习的扩散张量MRI降噪方法

基于自监督深度学习的扩散张量MRI降噪方法

背景介绍 弥散张量磁共振成像(Diffusion Tensor Magnetic Resonance Imaging,DTI)是一种广泛应用于体内脑组织微结构和白质束成像的神经影像技术。然而,弥散加权图像(Diffusion-Weighted Images, DWI)中的噪声会降低DTI数据所派生出的微结构参数的精度,同时也导致需要更长的采集时间来提高信噪比(Signal-to-Noise Ratio, SNR)。尽管基于卷积神经网络(Convolutional Neural Networks, CNNs)的深度学习方法在图像去噪方面表现突出,但通常需要额外的高信噪比数据来监督CNN的训练,这限制了监督学习方法在去噪中的实际应用。 论文来源 本文标题为“SDnDTI: Self-Superv...

DeepDTI:使用深度学习的高保真六方向扩散张量成像

DeepDTI:使用深度学习的高保真六方向扩散张量成像

DeepDTI:使用深度学习实现高保真六方向扩散张量成像 研究背景及研究动机 扩散张量磁共振成像(Diffusion Tensor Imaging, DTI)在活体人脑组织微结构和结构连接性映射方面具有无可比拟的优势。然而,传统的DTI技术因为角度采样的要求导致扫描时间过长,制约了其在常规临床实践和大规模研究中的应用。为了克服这一瓶颈,研究者们开发了一种新的DTI处理框架,称为DeepDTI,通过数据驱动的监督深度学习最小化DTI的数据需求。本文的目的在于展示如何使用DeepDTI显著减少DTI的采样数据量,从而实现更快的扫描速度,同时保持高质量的成像结果。 论文来源 这篇论文的主要作者包括Qiyuan Tian, Berkin Bilgic, Qiuyun Fan, Congyu Liao...