Règle de criblage statique et dynamique sécurisée séquentielle pour accélérer la machine à tenseurs de support

Mathématiques Informatique Sciences de l'information Intelligence artificielle
machine à tenseurs de support règle de criblage sécurisée apprentissage éparse apprentissage automatique données de haute dimension

Avec les progrès continus de la technologie d’acquisition de données, il est devenu très facile d’obtenir de grandes quantités de données de haute dimension contenant diverses caractéristiques, comme les images et les données visuelles. Cependant, les méthodes traditionnelles d’apprentissage automatique, en particulier celles basées sur les vecteurs et les matrices, sont confrontées à des défis tels que la malédiction de la dimensionnalité, l’augmentation de la complexité de calcul et le surapprentissage des modèles. Pour résoudre ces problèmes, le tenseur, en tant que méthode de représentation de tableaux multidimensionnels, est plus flexible que les vecteurs et les matrices et peut mieux gérer les données de haute dimension. Par conséquent, les méthodes d’apprentissage automatique basées sur les tenseurs deviennent progressivement le point focal des recherches académiques.

La machine à support de tenseurs (Support Tensor Machine, STM) est une stratégie de classification des tenseurs efficace, inspirée par les machines à vecteurs de support (Support Vector Machine, SVM) et les techniques de projection alternée ainsi que les opérations d’algèbre multilinéaire. L’objectif de la STM est de traiter les données complexes de tenseur en trouvant un hyperplan de classification à large marge, ce qui montre d’excellentes performances dans les tâches de classification. Bien que récemment, une série de versions améliorées des machines à support de tenseurs basées sur différentes méthodes de décomposition de tenseurs aient été proposées, telles que la machine à support de tenseurs de rang élevé (HSTM), la machine à support Tucker (STUM), et la machine à support de train de tenseurs (STTM), la STM traditionnelle est connue pour son temps de calcul relativement court tout en recherchant l’exactitude. Cependant, pour les problèmes de grande échelle, réaliser une machine à support de tenseurs efficace reste un défi majeur, car cela nécessite de résoudre de manière itérative des sous-modèles similaires à ceux de la SVM, rendant difficile la résolution de problèmes de grande échelle.

L’article « Sequential Safe Static and Dynamic Screening Rule for Accelerating Support Tensor Machine », co-écrit par Hongmei Wang de la Business School de l’Université Normale de Shandong, Kun Jiang de l’Université des Sciences et Technologies de Qilu (Institut des Sciences de Shandong) de l’École de Mathématiques et d’Intelligence Artificielle, Xiao Li de l’Institut d’Ingénierie de l’Information et de l’Électricité de l’Université Agricole de Chine, et Yitian Xu de l’Institut des Sciences de l’Université Agricole de Chine, vise à résoudre les problèmes susmentionnés. Cette recherche propose une règle de filtrage statique et dynamique sécurisée en séquence (Sequential Safe Static and Dynamic Screening Rule, SS-SDSR) pour accélérer la STM. Cet article sera publié dans la revue Neural Networks.

Contexte et Signification de la Recherche

Avec les progrès progressifs des techniques d’acquisition de données, il devient de plus en plus facile d’acquérir des données de haute dimension contenant de nombreuses caractéristiques, telles que les images et les données visuelles. Cependant, les méthodes traditionnelles d’apprentissage automatique basées sur les vecteurs et les matrices peuvent faire face à des défis tels que la malédiction de la dimensionnalité, l’accroissement de la complexité calculatoire et le surapprentissage des modèles. Pour résoudre ces problèmes, le tenseur, en tant que méthode de représentation des données plus flexible que les vecteurs et les matrices, offre une manière plus efficace de traiter les données de haute dimension. Ainsi, les méthodes d’apprentissage automatique basées sur les tenseurs deviennent l’un des domaines importants de recherche académique.

La machine à support de tenseurs (STM) est une stratégie de classification de tenseurs efficace, dérivée des machines à vecteurs de support (SVM) et de ses techniques de projection alternée et d’opérations d’algèbre multilinéaire. L’objectif de la STM est de traiter les données complexes de tenseurs en trouvant un hyperplan de classification à large marge et en montrant de bonnes performances dans les tâches de classification. Cependant, la STM traditionnelle utilise des techniques de projection alternée itératives, ce qui est très chronophage. Pour surmonter ce défaut, cette recherche propose une règle de filtrage statique et dynamique sécurisée en séquence (SS-SDSR) pour accélérer la STM. L’idée principale est de réduire la taille de chaque sous-modèle de projection en identifiant et en supprimant les variables redondantes avant et pendant le processus d’entraînement sans sacrifier l’exactitude.

Origine de la Recherche

Cet article est co-écrit par Hongmei Wang de la Business School de l’Université Normale de Shandong, Kun Jiang de l’Université des Sciences et Technologies de Qilu (Institut des Sciences de Shandong) de l’École de Mathématiques et d’Intelligence Artificielle, Xiao Li de l’Institut d’Ingénierie de l’Information et de l’Électricité de l’Université Agricole de Chine, et Yitian Xu de l’Institut des Sciences de l’Université Agricole de Chine. L’article sera publié dans la revue Neural Networks. La date de réception de cette recherche est le 25 octobre 2023, la date de révision est le 31 mars 2024, et la date d’acceptation est le 21 mai 2024.

Processus de Recherche

Flux de Travail de la Recherche

Cette recherche propose une règle de filtrage statique et dynamique sécurisée en séquence (SS-SDSR) pour accélérer la STM. Elle comprend principalement les étapes suivantes :

  1. Règle de Filtrage Statique (SSR) : Une règle de filtrage statique est construite sur la base de l’inégalité variationnelle (Variational Inequality, VI) pour filtrer la majorité des caractéristiques/échantillons redondants avant l’entraînement.
  2. Règle de Filtrage Dynamique (DSR) : Une règle de filtrage dynamique est construite sur la base de l’écart de dualité (duality gap) pour filtrer de manière continue les caractéristiques/échantillons redondants pendant le processus d’entraînement.
  3. Processus de Filtrage Séquentiel : En combinant SSR et DSR, chaque ajustement de paramètre commence par utiliser SSR pour filtrer la majorité des variables inutiles, suivi de l’utilisation de DSR pour filtrer davantage les variables redondantes pendant le processus d’entraînement.

Dans la partie expérimentale, l’équipe de recherche réalise des expériences à l’aide de datasets artificiels pour vérifier l’effet de différents intervalles de paramètres, fréquences de filtrage et formats de données sur l’efficacité de la méthode. Les résultats expérimentaux montrent que, indépendamment du format de données, lorsque l’intervalle de paramètres est petit et que la fréquence de filtrage est appropriée, la méthode fonctionne efficacement. De plus, des expériences numériques ont été réalisées sur onze ensembles de données vectorielles et six ensembles de données de tenseurs, et les résultats ont été comparés à ceux de cinq autres algorithmes. Les résultats expérimentaux montrent que cette méthode surpasse les autres algorithmes en termes d’efficacité et de sécurité.

Résultats Principaux

Règle de Filtrage Statique (SSR)

Grâce à l’inégalité variationnelle, l’équipe de recherche construit pour la STM une règle de filtrage statique. SSR peut filtrer la majorité des variables redondantes avant l’entraînement, réduisant ainsi la taille du problème et accélérant le processus de résolution.

Règle de Filtrage Dynamique (DSR)

Basée sur l’écart de dualité, l’équipe de recherche propose une règle de filtrage dynamique. DSR peut filtrer de manière continue les variables redondantes pendant le processus d’entraînement et les intégrer à l’algorithme de résolution. Dans les expériences, cette méthode accélère efficacement le processus d’entraînement des modèles, montrant des résultats de filtrage remarquables.

Résultats Expérimentaux

Sur les ensembles de données vectorielles, cette méthode réduit significativement le temps d’entraînement tout en maintenant l’exactitude des algorithmes originaux. Par exemple, sur l’ensemble de données spambase, SS-SDSR est 2,35 fois plus rapide que l’algorithme STM original, tandis que sur l’ensemble de données htru, l’effet d’accélération atteint 3,02 fois.

Sur les ensembles de données de tenseurs, la performance de SS-SDSR est également très remarquable. Pour l’ensemble de données mnist, cette méthode réduit le temps d’entraînement à 1⁄1,35 de celui de la STM originale tout en maintenant la même précision. De plus, les expériences menées sur six ensembles de données de tenseurs montrent que SS-SDSR peut efficacement filtrer les variables redondantes, atteignant un effet d’accélération significatif.

Conclusion de la Recherche

L’équipe de recherche résume les avantages de cette méthode et considère que SS-SDSR peut accélérer le processus d’entraînement des machines à support de tenseurs en supprimant les variables redondantes sans sacrifier l’exactitude. Cela fournit un outil efficace pour traiter les données de tenseurs de grande échelle et présente une valeur d’application potentielle large.

Enfin, l’équipe de recherche souligne que bien que SS-SDSR ait été démontré être excellent en théorie et en pratique, il existe encore des domaines à explorer, tels que l’extension à des modèles plus complexes et l’accélération supplémentaire. Leurs recherches futures se concentreront sur la construction de versions plus performantes de SS-SDSR pour mieux résoudre ces problèmes.

Résumé des Points Forts

  1. Points d’Innovation : Pour la première fois, étendre la règle de filtrage sécurisée à l’espace des tenseurs, accélérant le processus d’entraînement des machines à support de tenseurs.
  2. Garantie Théorique : En se basant sur des conditions d’optimisation rigoureuses et la théorie de la parcimonie, garantir la sécurité et l’efficacité de la méthode.
  3. Vérification Expérimentale : Validation effectuée sur plusieurs ensembles de données, prouvant l’efficacité et la précision de cette méthode.

Les découvertes de cette recherche non seulement possèdent une grande valeur scientifique, mais fournissent aussi de nouvelles méthodes et outils pour des applications pratiques. Cet article va stimuler davantage le développement des méthodes d’apprentissage automatique basées sur les tenseurs et offrir de nouvelles perspectives pour résoudre les problèmes de données de haute dimension. L’équipe de recherche espère améliorer encore cette méthode à l’avenir pour son application dans des modèles d’apprentissage automatique plus complexes.