基于受限玻尔兹曼机的无数据集权重初始化方法
基于统计力学分析的受限玻尔兹曼机权重初始化方法研究 学术背景 在深度学习中,神经网络的权重初始化对模型的训练效果有着重要影响。特别是在前馈神经网络(feed-forward neural networks)中,已有多种数据集无关的权重初始化方法被提出,例如LeCun、Xavier(或Glorot)和He初始化。这些方法通过特定的分布(如高斯分布或均匀分布)随机确定权重参数的初始值,而无需使用训练数据集。然而,在受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)中,类似的权重初始化方法尚未被开发。RBM是一种由两层组成的概率神经网络,广泛应用于协同过滤、降维、分类、异常检测和深度学习等领域。由于RBM的权重初始化对学习效率有显著影响,因此开发一种适用于RBM的...