基于高阶奇异值分解的高效滤波器剪枝方法

背景介绍 网络剪枝(Network Pruning)是设计高效卷积神经网络(CNNs)模型的重要技术。其通过减少内存占用和计算要求,同时保持或提高总体性能,使得在资源受限设备(如手机或嵌入式系统)上部署CNNs变得可行。当前的假设是许多模型参数过多,即包含大量不必要或冗余的参数,剪枝这些冗余参数可以生成更小且更高效的模型,这不仅适用于资源受限设备,还可以在某些情况下提高模型的泛化能力。 现有的剪枝方法中,滤波器剪枝(Filter Pruning)和权重剪枝(Weight Pruning)都是流行的技术。权重剪枝是一种非结构化剪枝,指根据个别权重的重要性对其进行剪枝而不考虑任何特定的结构或模式。而滤波器剪枝则是结构化剪枝方法的一种,它依据某些标准对整个滤波器进行剪枝,同时保持网络的整体结构。 ...