Entropie d’erreur minimale quantifiée complexe avec points de référence : théorie et application dans la régression de modèle

Contexte académique

Dans les domaines de l’apprentissage automatique et du traitement du signal, la présence de bruit non gaussien peut souvent nuire à la performance des modèles. L’erreur quadratique moyenne (Mean Squared Error, MSE) traditionnelle, bien que simple sur le plan théorique et computationnel, voit sa fiabilité sérieusement mise à l’épreuve face au bruit non gaussien. Pour résoudre ce problème, les chercheurs ont proposé plusieurs critères d’optimisation, parmi lesquels l’entropie d’erreur minimale (Minimum Error Entropy, MEE) a retenu l’attention en raison de ses performances exceptionnelles dans la suppression du bruit impulsionnel et des valeurs aberrantes. Cependant, l’algorithme MEE original, qui nécessite une double sommation des échantillons d’erreur, présente une complexité de calcul élevée, limitant son application à des ensembles de données de grande taille.

Afin de réduire la charge de calcul, Zheng et al. ont proposé l’entropie d’erreur minimale quantifiée (Quantized MEE, QMEE), améliorant ainsi significativement l’efficacité computationnelle. Sur cette base, cette étude étend cette technique au domaine complexe, proposant l’entropie d’erreur minimale quantifiée complexe (Complex Quantized MEE, CQMEE), et en démontre théoriquement les propriétés fondamentales et la convergence. La CQMEE offre non seulement une alternative computationnelle efficace, mais ouvre également de nouvelles voies pour le traitement des tâches de régression sur des données complexes.

Source de l’article

Cet article a été co-écrit par Bingqing Lin, Guobing Qian, Zongli Ruan, Junhui Qian et Shiyuan Wang, respectivement affiliés à la Faculté d’ingénierie électronique et informatique de l’Université du Sud-Ouest, à la Faculté des sciences de l’Université du pétrole de Chine (Campus de l’Est) et à la Faculté d’ingénierie microélectronique et de communication de l’Université de Chongqing. L’article a été publié en février 2025 dans la revue Neural Networks, sous le titre “Complex Quantized Minimum Error Entropy with Fiducial Points: Theory and Application in Model Regression”.

Processus de recherche

1. Contexte et problématique

Dans l’analyse de régression, le choix d’une fonction de critère (fonction de perte) appropriée est crucial. La MSE traditionnelle, bien que simple, est peu performante face au bruit non gaussien, ce qui a conduit les chercheurs à proposer divers critères d’optimisation, tels que la MEE et le critère de correntropie maximale (Maximum Correntropy Criterion, MCC). La MEE, en renforçant la robustesse du modèle face au bruit, permet de supprimer efficacement le bruit impulsionnel et les valeurs aberrantes. Cependant, son biais inhérent nécessite l’introduction de points de référence (Fiducial Points), donnant naissance à l’algorithme d’entropie d’erreur minimale avec points de référence (MEE with Fiducial Points, MEEF). Néanmoins, la double sommation de la MEEF entraîne une complexité de calcul élevée, particulièrement pour les ensembles de données de grande taille.

2. Proposition de l’entropie d’erreur minimale quantifiée complexe (CQMEE)

Pour résoudre le problème de complexité de calcul de la MEEF, cette étude étend la technique de quantification au domaine complexe, proposant ainsi la CQMEE. La CQMEE utilise la technique de quantification vectorielle en ligne (Online Vector Quantization, VQ) pour approximer un grand nombre d’échantillons d’erreur par un sous-ensemble représentatif compact, réduisant ainsi significativement la complexité de calcul. Plus précisément, la CQMEE est mise en œuvre selon les étapes suivantes : 1. Opération de quantification : Compresse l’ensemble des échantillons d’erreur en un sous-ensemble contenant m membres, réduisant la charge de calcul via un opérateur de quantification. 2. Calcul de la capacité d’information : Calcule la capacité d’information sur le sous-ensemble quantifié, garantissant une réduction de la charge de calcul sans compromettre significativement la précision. 3. Mise à jour des poids : Ajuste dynamiquement les mots de code et les coefficients du sous-ensemble quantifié en fonction des nouveaux échantillons d’erreur reçus, assurant ainsi l’adaptabilité du modèle.

3. Preuve théorique et analyse des propriétés

Cette étude démontre théoriquement la convergence de la CQMEE et détaille ses propriétés fondamentales. Celles-ci incluent : 1. Propriété 1 : Lorsque le seuil de quantification є=0, la CQMEE est équivalente à la MEEF originale. 2. Propriété 2 : Lorsque λ=0, la CQMEE se réduit au critère de correntropie maximale complexe (CMCC) ; lorsque λ=1 et σq→∞, la CQMEE se réduit à l’entropie d’erreur minimale quantifiée complexe (CQMEE). 3. Propriété 3 : La capacité d’information de la CQMEE est positive et bornée, assurant la stabilité du processus d’optimisation. 4. Propriété 4 : Lorsque σ1 et σ2 sont fixés à des valeurs très élevées, la capacité d’information de la CQMEE est approximativement égale à une somme pondérée des moments d’ordre deux des erreurs aux points centraux {0, c1,…, cm}, établissant ainsi un lien avec le critère d’erreur quadratique moyenne complexe (CMSE) traditionnel.

4. Validation expérimentale

Pour valider l’efficacité de la CQMEE, cette étude a mené des expériences de régression linéaire et non linéaire dans divers environnements bruités. Les résultats montrent que la CQMEE excelle dans le traitement des ensembles de données pollués par le bruit, surpassant les méthodes existantes en termes de précision tout en améliorant significativement l’efficacité computationnelle. Les expériences incluent : 1. Expériences de régression linéaire : Dans différentes conditions de bruit, la CQMEE a été comparée à des critères d’optimisation tels que la MEEF et la CMCC, montrant qu’elle maintient une haute précision tout en réduisant significativement le temps d’entraînement. 2. Expériences de régression non linéaire : Sur plusieurs ensembles de données standards, la CQMEE a obtenu des erreurs quadratiques moyennes (RMSE) et des erreurs absolues moyennes (MAE) inférieures à celles des autres méthodes, démontrant ainsi sa supériorité dans des environnements bruités complexes.

Résultats et conclusions principaux

1. Résultats principaux

• Amélioration de l’efficacité computationnelle : Grâce à la technique de quantification, la CQMEE réduit significativement la complexité de calcul de la MEEF, en particulier pour les ensembles de données de grande taille, où le temps d’entraînement est considérablement réduit.
• Haute précision en régression : Dans divers environnements bruités, la CQMEE excelle dans les tâches de régression, surpassant les méthodes traditionnelles en précision et en robustesse face au bruit complexe.
• Soutien théorique : La convergence et les propriétés fondamentales de la CQMEE ont été prouvées théoriquement, assurant sa stabilité et sa fiabilité dans le processus d’optimisation.

2. Conclusion

La CQMEE, en tant que nouveau critère d’apprentissage basé sur la théorie de l’information, résout le problème de la complexité de calcul élevée de la MEEF en introduisant la technique de quantification dans le domaine complexe. Les résultats expérimentaux montrent que la CQMEE excelle dans le traitement des ensembles de données pollués par le bruit, surpassant les méthodes existantes en précision tout en améliorant significativement l’efficacité computationnelle. La proposition de la CQMEE offre une nouvelle solution pour les tâches de régression sur des données complexes, apportant une valeur théorique et pratique importante.

Points forts de la recherche

1. Amélioration de l’efficacité computationnelle : Grâce à la technique de quantification, la CQMEE réduit significativement la complexité de calcul de la MEEF, en particulier pour les ensembles de données de grande taille, où le temps d’entraînement est considérablement réduit.
2. Haute précision en régression : Dans divers environnements bruités, la CQMEE excelle dans les tâches de régression, surpassant les méthodes traditionnelles en précision et en robustesse face au bruit complexe.
3. Soutien théorique : La convergence et les propriétés fondamentales de la CQMEE ont été prouvées théoriquement, assurant sa stabilité et sa fiabilité dans le processus d’optimisation.

Autres informations utiles

Les futures directions de recherche incluent l’extension de la CQMEE à un plus large éventail de fonctions noyau, améliorant ainsi son applicabilité dans divers scénarios d’apprentissage computationnel. De plus, l’application de la CQMEE dans les systèmes de communication, le traitement avancé du signal et l’informatique quantique mérite une exploration approfondie.