复杂量化最小误差熵与基准点：理论及模型回归中的应用

2025-03-14 Fri
复杂量化最小误差熵与基准点的理论及应用：模型回归中的突破学术背景在机器学习和信号处理领域，非高斯噪声的存在往往会对模型的性能产生不利影响。传统的均方误差（Mean Squared Error, MSE）虽然在理论上和计算上具有简单性，但在面对非高斯噪声时，其可靠性受到严重挑战。为了解决这一问题，研究者们提出了多种优化准则，其中最小误差熵（Minimum Error Entropy, MEE）因其在抑制脉冲噪声和异常值方面的优异表现而备受关注。然而，原始的MEE算法由于需要对误差样本进行双重求和，计算复杂度较高，限制了其在大规模数据集中的应用。
为了降低计算负担，Zheng等人提出了量化最小误差熵（Quantized MEE, QMEE），通过量化技术显著提高了计算效率。在此基础上，本研究进一步将这一技术扩展到复数域，提出了复杂量化最小误差熵（Complex Quantized MEE, CQMEE），并对其基本性质和收敛性进行了理论证明和实验验证。CQMEE不仅提供了一种高效的计算替代方案，还为处理复杂数据回归任务开辟了新的途径。
论文来源本论文由Bingqing Lin、Guobing Qian、Zongli Ruan、Junhui Qian和Shiyuan Wang共同撰写，分别来自西南大学电子与信息工程学院、中国石油大学（华东）理学院和重庆大学微电子与通信工程学院。论文于2025年2月发表在Neural Networks期刊上，题为“Complex Quantized Minimum Error Entropy with Fiducial Points: Theory and Application in Model Regression”。
研究流程1. 研究背景与问题在回归分析中，选择合适的准则函数（损失函数）至关重要。传统的MSE在面对非高斯噪声时表现不佳，因此研究者们提出了多种优化准则，如MEE和最大相关熵准则（Maximum Correntropy Criterion, MCC）。MEE通过增强模型对噪声的鲁棒性，能够有效抑制脉冲噪声和异常值，但其固有的偏差问题需要通过引入基准点（Fiducial Points）来解决，从而产生了最小误差熵与基准点（MEE with Fiducial Points, MEEF）算法。然而，MEEF的双重求和计算复杂度较高，尤其是在处理大规模数据集时，计算负担更为显著。
2. 复杂量化最小误差熵（CQMEE）的提出为了解决MEEF的计算复杂度问题，本研究将量化技术扩展到复数域，提出了CQMEE。CQMEE通过在线向量量化（Online Vector Quantization, VQ）技术，将大量误差样本近似为一个紧凑的代表性子集，从而显著降低了计算复杂度。具体来说，CQMEE通过以下步骤实现：
1. 量化操作：将误差样本集压缩为一个包含m个成员的子集，通过量化算子减少计算负担。
2. 信息容量计算：在量化后的子集上计算信息容量，确保在不显著影响精度的情况下减少计算量。
3. 权重更新：根据新接收的误差样本动态调整量化子集中的码字和系数，确保模型的适应性。
3. 理论证明与性质分析本研究对CQMEE的收敛性进行了理论证明，并详细阐述了其基本性质。具体包括：
1. 性质1：当量化阈值є=0时，CQMEE等同于原始的MEEF。
2. 性质2：当λ=0时，CQMEE退化为复杂最大相关熵准则（CMCC）；当λ=1且σq→∞时，CQMEE退化为复杂量化最小误差熵（CQMEE）。
3. 性质3：CQMEE的信息容量是正且有界的，确保了优化过程的稳定性。
4. 性质4：当σ1和σ2都设置为极大值时，CQMEE的信息容量近似于误差在中心点{0, c1,…, cm}处的二阶矩的加权和，从而与传统的复杂均方误差（CMSE）准则相关联。
4. 实验验证为了验证CQMEE的有效性，本研究在多种噪声环境下进行了线性回归和非线性回归实验。实验结果表明，CQMEE在处理噪声污染的数据集时表现出色，不仅在精度上优于现有方法，还在计算效率上显著提高。具体实验包括：
1. 线性回归实验：在不同噪声条件下，CQMEE与MEEF、CMCC等优化准则进行了对比，结果表明CQMEE在保持高精度的同时，显著减少了训练时间。
2. 非线性回归实验：在多个标准数据集上，CQMEE在测试集上的均方根误差（RMSE）和平均绝对误差（MAE）均优于其他方法，展示了其在处理复杂噪声环境下的优越性。
主要结果与结论1. 主要结果计算效率提升：通过量化技术，CQMEE显著降低了MEEF的计算复杂度，尤其是在处理大规模数据集时，训练时间大幅减少。
高精度回归：在多种噪声环境下，CQMEE在回归任务中表现出色，不仅精度高于传统方法，还在处理复杂噪声时表现出更强的鲁棒性。
理论支持：CQMEE的收敛性和基本性质得到了理论证明，确保了其在优化过程中的稳定性和可靠性。
2. 结论CQMEE作为一种新的信息理论学习准则，通过将量化技术引入复数域，成功解决了MEEF计算复杂度高的问题。实验结果表明，CQMEE在处理噪声污染的数据集时表现出色，不仅在精度上优于现有方法，还在计算效率上显著提高。CQMEE的提出为处理复杂数据回归任务提供了新的解决方案，具有重要的理论和应用价值。
研究亮点计算效率提升：通过量化技术，CQMEE显著降低了MEEF的计算复杂度，尤其是在处理大规模数据集时，训练时间大幅减少。
高精度回归：在多种噪声环境下，CQMEE在回归任务中表现出色，不仅精度高于传统方法，还在处理复杂噪声时表现出更强的鲁棒性。
理论支持：CQMEE的收敛性和基本性质得到了理论证明，确保了其在优化过程中的稳定性和可靠性。
其他有价值的信息本研究的未来研究方向包括将CQMEE推广到更广泛的核函数领域，进一步提升其在不同计算学习场景中的适用性。此外，CQMEE在通信系统、高级信号处理和量子计算等领域的应用也值得进一步探索。