Apprentissage de la représentation duale pour le clustering en une étape des données multi-vues

Dans les applications du monde réel, les données multi-vues (multi-view data) sont largement présentes. Les données multi-vues font référence aux données collectées à partir de multiples sources ou via plusieurs modes de représentation, par exemple, différentes versions linguistiques d’une même histoire de nouvelles ou des données sur les maladies obtenues par différents tests médicaux. L’apprentissage multi-vues (multi-view learning) est une méthode efficace pour exploiter les données multi-vues, et le clustering multi-vues (multi-view clustering), en tant que composante importante de l’apprentissage multi-vues, a attiré de plus en plus d’attention ces dernières années. Cependant, la conception d’une méthode efficace d’exploitation des données multi-vues et la rendant plus ciblée reste une tâche difficile.

Les méthodes traditionnelles de clustering multi-vues se divisent principalement en deux catégories : les méthodes basées sur les vues originales (original views-based methods) et les méthodes basées sur les vues latentes communes (common latent view-based methods). Les premières étendent généralement les algorithmes de clustering traditionnels (comme K-means, le clustering flou ou le clustering spectral) pour traiter les données multi-vues, tandis que les secondes utilisent des techniques d’apprentissage de représentation (comme l’auto-représentation, la factorisation de matrices et l’analyse de corrélation canonique) pour explorer les représentations latentes communes entre les vues. Cependant, les méthodes existantes présentent deux défis majeurs : premièrement, les données multi-vues contiennent à la fois des connaissances cohérentes (consistent knowledge) entre les vues et des connaissances uniques (unique knowledge) pour chaque vue, mais les méthodes existantes ne parviennent souvent pas à exploiter simultanément ces deux types de connaissances. Deuxièmement, la plupart des méthodes basées sur les vues latentes communes séparent l’apprentissage de la représentation de la segmentation du clustering, ce qui entraîne une interaction insuffisante entre l’apprentissage de la représentation et la tâche de clustering, affectant ainsi l’efficacité du clustering.

Pour résoudre ces problèmes, cet article propose une nouvelle méthode de clustering multi-vues en une étape (one-step multi-view clustering) basée sur l’apprentissage de représentation duale (dual representation learning), visant à exploiter simultanément les connaissances cohérentes entre les vues et les connaissances uniques de chaque vue, et à unifier l’apprentissage de la représentation et la segmentation du clustering dans un cadre unique pour obtenir une performance de clustering plus efficace.

Source de l’article

Cet article est co-écrit par Wei Zhang, Zhaohong Deng, Kup-Sze Choi, Jun Wang et Shitong Wang. Les auteurs sont respectivement affiliés à Nantong University, Jiangnan University, The Hong Kong Polytechnic University et Shanghai University. L’article a été accepté le 28 février 2025 et publié dans la revue Artificial Intelligence Review, avec le DOI 10.1007/s10462-025-11183-0.

Contenu et processus de la recherche

1. Mécanisme d’apprentissage de représentation duale

Cet article propose un mécanisme d’apprentissage de représentation duale basé sur la factorisation de matrices (matrix factorization) pour exploiter simultanément les connaissances cohérentes et uniques dans les données multi-vues. Plus précisément, pour un ensemble de données multi-vues donné, en supposant que les connaissances cohérentes et uniques sont linéairement séparables, cet article apprend les représentations communes et spécifiques en optimisant la fonction objective suivante :

[ \min_{h, w_k, s_k, pk} \sum{k=1}^{K} |X_k - h^T w_k - s_k^T p_k|_F^2 + \gamma (|h^T|_F^2 + |s_k^T|_F^2) ]

Où (h) est la représentation latente commune entre les vues, (s_k) est la représentation spécifique de la (k)-ième vue, (w_k) et (p_k) sont les matrices de projection, et (\gamma) est un paramètre de régularisation. Grâce à ce mécanisme, cet article parvient à apprendre simultanément les représentations cohérentes entre les vues et les représentations spécifiques de chaque vue.

2. Cadre de clustering multi-vues en une étape

Pour renforcer la corrélation entre l’apprentissage de la représentation et la tâche de clustering, cet article propose un cadre novateur de clustering multi-vues en une étape, unifiant l’apprentissage de représentation duale et la segmentation du clustering dans un cadre d’optimisation unique. Plus précisément, cet article introduit un mécanisme d’entropie maximale (maximum entropy mechanism) et une contrainte orthogonale (orthogonal constraint) pour optimiser davantage la performance du clustering. La fonction objective finale est la suivante :

[ \min_{h, w_k, s_k, p_k, u, v_k, \alphak} \sum{k=1}^{K} |X_k - h^T w_k - s_k^T p_k|_F^2 + \gamma (|h^T|_F^2 + |s_k^T|F^2) + \sum{k=1}^{K} \alpha_k |s_k - v_k u|F^2 + \alpha{K+1} |h - v_{K+1} u|F^2 + \beta \sum{k=1}^{K+1} |v_k^T v_k - I|F^2 - \delta \sum{k=1}^{K+1} \alpha_k \ln \alpha_k ]

Où (u) est la matrice d’indicateurs de clustering, (v_k) est la matrice des centres de clustering, (\alpha_k) est le poids des vues, et (\beta) et (\delta) sont des paramètres d’équilibrage. Grâce à ce cadre, cet article réalise une promotion mutuelle entre l’apprentissage de la représentation et la segmentation du clustering, améliorant ainsi la performance du clustering.

3. Processus d’optimisation

Cet article utilise une méthode d’optimisation alternée (alternating optimization) pour résoudre la fonction objective ci-dessus. Plus précisément, le processus d’optimisation se divise en sept étapes, mettant à jour successivement (h), (s_k), (w_k), (p_k), (\alpha_k), (v_k) et (u). En mettant à jour ces variables de manière itérative, cet article parvient à optimiser progressivement les résultats du clustering.

4. Résultats expérimentaux et analyse

Cet article a mené des expériences approfondies sur sept ensembles de données multi-vues réels, validant l’efficacité de la méthode proposée. Les résultats expérimentaux montrent que, par rapport aux méthodes de clustering multi-vues existantes, la méthode proposée dans cet article obtient les meilleures performances de clustering sur la plupart des ensembles de données. Plus précisément, la méthode de cet article surpasse les autres méthodes comparées en termes d’indices tels que l’information mutuelle normalisée (NMI), la précision (ACC), la pureté (Purity) et l’indice de Rand ajusté (ARI).

De plus, cet article a mené des expériences d’ablation (ablation study) pour vérifier respectivement la contribution du mécanisme d’apprentissage de représentation duale, du mécanisme de clustering en une étape et des termes de régularisation à la performance du clustering. Les résultats expérimentaux montrent que l’exploitation simultanée des connaissances cohérentes et uniques, l’unification de l’apprentissage de la représentation et de la segmentation du clustering dans un cadre unique, ainsi que l’introduction de termes de régularisation, améliorent significativement la performance du clustering.

Conclusion et signification

Cet article propose une méthode de clustering multi-vues en une étape basée sur l’apprentissage de représentation duale, visant à exploiter simultanément les connaissances cohérentes et uniques dans les données multi-vues, et à unifier l’apprentissage de la représentation et la segmentation du clustering dans un cadre unique. En introduisant un mécanisme d’entropie maximale et une contrainte orthogonale, cet article optimise davantage la performance du clustering. Les résultats expérimentaux montrent que la méthode de cet article obtient d’excellents résultats de clustering sur plusieurs ensembles de données réels, prouvant son efficacité dans des applications pratiques.

Les principales contributions de cet article incluent : 1. Un nouveau mécanisme d’apprentissage de représentation duale, capable d’exploiter simultanément les connaissances cohérentes entre les vues et les connaissances uniques de chaque vue. 2. Un cadre novateur de clustering multi-vues en une étape, unifiant l’apprentissage de représentation duale et la segmentation du clustering dans un cadre adaptatif. 3. Des expériences approfondies sur plusieurs ensembles de données réels, validant l’efficacité et l’efficience de la méthode proposée.

La recherche de cet article fournit de nouvelles idées et méthodes dans le domaine du clustering multi-vues, ayant une valeur scientifique et des perspectives d’application importantes. Les recherches futures pourraient explorer davantage l’application de cette méthode à des scénarios de données multi-vues plus complexes, tels que les données de haute dimension ou les données non linéaires.

Points forts de la recherche

1. Mécanisme d’apprentissage de représentation duale : Cet article propose pour la première fois un mécanisme d’apprentissage de représentation duale basé sur la factorisation de matrices, capable d’exploiter simultanément les connaissances cohérentes et uniques dans les données multi-vues.
2. Cadre de clustering en une étape : Cet article conçoit un cadre novateur de clustering multi-vues en une étape, unifiant l’apprentissage de la représentation et la segmentation du clustering dans un cadre d’optimisation unique, réalisant une promotion mutuelle entre les deux.
3. Entropie maximale et contrainte orthogonale : Cet article introduit un mécanisme d’entropie maximale et une contrainte orthogonale, optimisant davantage la performance du clustering et améliorant la robustesse du modèle.
4. Validation expérimentale approfondie : Cet article mène des expériences approfondies sur plusieurs ensembles de données réels, validant l’efficacité et l’efficience de la méthode proposée, fournissant de nouvelles idées de recherche dans le domaine du clustering multi-vues.

Grâce à la recherche de cet article, le domaine du clustering multi-vues a été davantage avancé à la fois sur le plan théorique et appliqué, fournissant une référence importante pour les recherches futures connexes.