背景介绍 网络剪枝（Network Pruning）是设计高效卷积神经网络（CNNs）模型的重要技术。其通过减少内存占用和计算要求，同时保持或提高总体性能，使得在资源受限设备（如手机或嵌入式系统）上部署CNNs变得可行。当前的假设是许多模型参数过多，即包含大量不必要或冗余的参数，剪枝这些冗余参数可以生成更小且更高效的模型，这不仅适用于资源受限设备，还可以在某些情况下提高模型的泛化能力。 现有的剪枝方法中，滤波器剪枝（Filter Pruning）和权重剪枝（Weight Pruning）都是流行的技术。权重剪枝是一种非结构化剪枝，指根据个别权重的重要性对其进行剪枝而不考虑任何特定的结构或模式。而滤波器剪枝则是结构化剪枝方法的一种，它依据某些标准对整个滤波器进行剪枝，同时保持网络的整体结构。 ...
随着深度学习技术的快速发展，数据挖掘和人工智能训练技术在实际应用中的重要性日益显现。尤其在多变量时间序列异常检测领域，现有方法尽管表现出色，但在面对含有噪声或污染的数据时，依旧存在显著的问题。基于此，本文提出了一种具有双内存模块的多尺度特征提取框架，用以解决上述挑战性问题。 研究背景 多变量时间序列（Multivariate Time Series, MTS）数据通常涉及多个传感器在物联网（IoT）应用中的实时运行状态。有效分析这些数据能够揭示隐藏的信息，对异常情况进行预警，以确保系统的安全运行。然而传统的异常检测方法，如局部异常因子（Local Outlier Factor, LOF）、单一分类支持向量机（One-Class Support Vector Machine, OCSVM）和孤...
背景介绍 多源无监督域适应（Multi-source Unsupervised Domain Adaptation, MUDA）旨在从多个已标记的源域向无标记的目标域转移知识。但是，现有的方法在处理源域和目标域的分布差异时，往往只是简单地寻求不同领域之间分布的混合或在决策过程中结合多个单源模型进行加权融合，未深入考察不同源域和目标域之间的全局和局部特征分布的差异。因此，为解决这一问题，该研究提出了一种全新的多源域适应的主动动态加权（Active Dynamic Weighting, ADW）方法。 论文来源 本文的研究工作由西安理工大学的刘龙、周博、赵志鹏和刘泽宁组成的团队完成，于2024年5月20日正式在线发表在《Neural Networks》杂志上，文章编号为177（2024）1063...
滑模控制在不确定分数阶反应扩散忆阻神经网络中的应用 近年来，随着神经网络在各种领域的广泛应用，对其控制和稳定性研究也越来越受到关注。分数阶（fractional-order, FO）忆阻神经网络（memristor neural networks, MNNs）由于其能够模拟生物神经突触的特点，在信息处理和学习等方面展示了独特的优势。然而，MNNs 在应用中面临诸多挑战，如系统的不确定性、信号传输的时滞以及复杂的时空演化特性，这些因素可能导致网络的不稳定和性能下降。因此，研究一种强鲁棒性的控制方法来解决这些问题具有重要的理论和实际意义。 在背景介绍部分，需要首先介绍忆阻器（memristor）的基本概念及其在神经网络中的应用。忆阻器作为电感、电容、以及电阻之外的第四类电子元件，由Chua于19...
背景与研究动因 在物理学中，了解流体运动对于理解我们的环境以及我们如何与其进行交互至关重要。然而，传统的流体模拟方法由于其高计算需求，在实际应用中存在局限性。近年来，物理学驱动的神经网络被认为是一种有前途的数据驱动方法来理解复杂的自然现象。本文的作者受到平滑粒子流体动力学（SPH）方法的启发，提出了一种基于注意力机制的双管道网络架构——DualFluidNet，用于解决流体模拟中的全局控制和物理定律约束之间平衡的问题。 论文信息来源 本文由来自西安交通大学软件工程学院的Yu Chen、Shuai Zheng、Menglong Jin、Yan Chang和Nianyi Wang撰写，发表在2024年《Neural Networks》期刊上。该论文提出并探讨了一种创新的3D流体模拟方法。 研究方...
合成辅助预训练和补丁级特征对齐的多类别宫颈病变细胞检测蒸馏 背景与研究意义 宫颈癌是一种严重威胁女性生命和健康的疾病。根据国际癌症研究机构（IARC）的数据显示，2020年全球新增宫颈癌病例约为60.4万例，死亡病例约为34.2万例（Sung et al., 2021）。早期诊断和筛查宫颈癌能够有效预防和治疗，而延误诊断则会增加严重并发症和生命危险的风险（Schiffman, Castle, Jeronimo, Rodriguez, & Wacholder, 2007）。目前，全球各地的健康组织均推荐进行早期筛查作为预防和治疗宫颈癌的一种有效方法（A. C. of Obstetricians, Gynecologists et al., 2010）。其中，液基薄层细胞检测（TCT）是检测宫颈...
在数据获取技术的不断发展下，获取大量包含多种特征的高维数据已经变得十分容易，比如图像、视觉等。然而，传统的机器学习方法尤其是基于向量和矩阵的方法，面临着维度灾难、计算复杂度增加以及模型过拟合等挑战。为了解决这些问题，张量作为一种多维数组表示方式，比向量和矩阵更具灵活性，能够更好地处理高维数据。因此，基于张量的机器学习方法逐渐成为学术研究的焦点。 支持张量机 (Support Tensor Machine, STM) 是一种有效的张量分类策略，受到支持向量机 (Support Vector Machine, SVM) 和交替投影技术以及多线性代数操作的启发。STM 旨在处理复杂的张量数据，通过寻找具有最大间隔的两类分类超平面，在分类任务中表现出优异的性能。尽管最近基于不同张量分解方法的一系列改...
异构霍普菲尔德神经网络的研究：适应性激活函数与忆阻器结合的动态行为分析 本研究背景探讨了神经网络中非线性因素对系统动态行为的影响。尤其是激活函数和忆阻器(memristor)做为非线性因素，常被用于构建混沌系统和模拟突触行为。霍普菲尔德神经网络(Hopfield Neural Network, HNN)因其独特的网络结构和生成复杂脑样动态的能力，而受到广泛关注。再者，当前研究多集中于使用固定激活函数的神经元对系统动态的影响，而对异构激活函数组合的研究较少。 本文由Chunhua Wang、Junhui Liang和Quanli Deng撰写，分别来自湖南大学计算机与电子工程学院和粤港澳大湾区研究院。文章在2024年1月28日提交，2024年5月21日被《Neural Networks》期刊接...
通过空间-频率线索挖掘方法实现低光照RGB-T场景中的显著目标检测 显著目标检测（Salient Object Detection, SOD）在计算机视觉领域具有重要地位，其主要任务是在图像中识别出最具视觉吸引力的区域或物体。尽管在过去几十年中，SOD模型在正常光照环境中取得了一定进展，但在低光环境下仍面临严峻挑战。在低光环境下，由于光子不足，导致图像细节缺失，严重影响了SOD的性能。而这种挑战在智能监控、自动驾驶等实际应用中显得尤为突出。 近几年来，RGB-T（可见光和热红外图像）系统因其在光线不足条件下对热红外不变性的特点，引起了越来越多研究人员的关注。借助RGB-T图像，研究人员开发了一些SOD模型，通过融合可见光和热红外线索，在一定程度上缓解了低光环境下的目标检测问题。然而，这些现有...
基于自适应集成分解与跨模态注意力融合的电网故障诊断框架 研究背景 随着现代电力系统规模的不断扩大和复杂化，电网的稳定运行面临着越来越严峻的挑战。电网故障的发生可能由自然灾害、设备故障以及局部电网结构薄弱等多个因素导致。这些故障不仅会影响电力用户的正常工作，还可能导致大面积停电，进而引发重大损失。美国能源信息管理局的数据显示，美国每年平均发生超过500起电网故障事件，影响数百万用户的电力供应。在中国，因电网故障造成的年均电力损失超过百亿人民币。由此可见，快速准确地检测和诊断电网故障类型已成为电力系统研究中的关键课题之一。 研究来源 本文题为“a grid fault diagnosis framework based on adaptive integrated decomposition a...