背景介绍 网络剪枝（Network Pruning）是设计高效卷积神经网络（CNNs）模型的重要技术。其通过减少内存占用和计算要求，同时保持或提高总体性能，使得在资源受限设备（如手机或嵌入式系统）上部署CNNs变得可行。当前的假设是许多模型参数过多，即包含大量不必要或冗余的参数，剪枝这些冗余参数可以生成更小且更高效的模型，这不仅适用于资源受限设备，还可以在某些情况下提高模型的泛化能力。 现有的剪枝方法中，滤波器剪枝（Filter Pruning）和权重剪枝（Weight Pruning）都是流行的技术。权重剪枝是一种非结构化剪枝，指根据个别权重的重要性对其进行剪枝而不考虑任何特定的结构或模式。而滤波器剪枝则是结构化剪枝方法的一种，它依据某些标准对整个滤波器进行剪枝，同时保持网络的整体结构。 ...

背景介绍: 大规模神经记录数据通常可以用神经元协同激活模式来描述。但是,将神经活动变异限制于固定的低维子空间的观点可能会忽略更高维的结构,例如固定的神经序列或缓慢演化的潜在空间。本研究认为,神经数据中与任务相关的可变性也可以在试次或时间上共同波动,定义不同的”协变量类”(covariability classes),这些类可能会在同一数据集中同时出现。 研究动机: 传统的降维方法(如主成分分析(PCA))通常只能捕捉单一的协变量类。为了区分混合在一起的多种协变量类,研究人员开发了一种新的无监督降维方法——切片张量分量分析(SliceTCA)。 研究方法: SliceTCA是一种新型张量分解方法,基于切片秩(slice rank)。它可以将神经数据张量分解为三种切片类型的分量:神经元切片、试次...