Analyse comparative des méthodologies et approches dans les systèmes de recommandation utilisant des modèles de langage volumineux

Contexte académique

Avec l’explosion des informations sur Internet, les systèmes de recommandation (Recommender Systems, RSs) jouent un rôle indispensable dans la vie numérique moderne. Qu’il s’agisse des recommandations de films sur Netflix ou des flux d’actualités personnalisés sur les réseaux sociaux, les systèmes de recommandation redéfinissent l’expérience en ligne des utilisateurs. Cependant, les systèmes de recommandation traditionnels sont confrontés à de nombreux défis, tels que la parcimonie des données (data sparsity), le problème de démarrage à froid (cold-start), l’évolutivité (scalability) et le manque d’explicabilité (lack of explainability). Ces dernières années, les grands modèles de langage (Large Language Models, LLMs) ont réalisé des progrès significatifs dans le domaine du traitement du langage naturel (Natural Language Processing, NLP), ce qui a incité les chercheurs à explorer comment appliquer ces modèles aux systèmes de recommandation pour tirer parti de leur puissante capacité de représentation textuelle et de leur riche base de connaissances afin de résoudre les problèmes mentionnés ci-dessus.

Cet article vise à comparer et analyser diverses méthodes récentes appliquant les LLMs aux systèmes de recommandation, en explorant l’efficacité, les avantages et les limites potentielles de ces méthodes. Grâce à une classification et une évaluation systématiques, cet article fournit une référence et des insights importants pour les recherches futures.

Source de l’article

Cet article a été co-écrit par Marwa A. Shouman, Hamdy K. Elminir et Gamal Eldin I. Selim, tous trois ayant une expertise approfondie dans les domaines des systèmes de recommandation et des grands modèles de langage. L’article a été publié en 2025 dans la revue Artificial Intelligence Review, avec le DOI 10.1007/s10462-025-11189-8.

Contenu principal de l’article

1. Rôle des LLMs dans les systèmes de recommandation

L’application des LLMs dans les systèmes de recommandation se manifeste principalement dans deux aspects : l’encodage des caractéristiques et la génération de recommandations. En tant qu’encodeurs de caractéristiques, les LLMs peuvent extraire des caractéristiques à partir de données textuelles (telles que les commentaires et les descriptions) pour générer des représentations des utilisateurs et des items. Par exemple, le modèle BERT, grâce à sa capacité de compréhension contextuelle bidirectionnelle, peut mieux représenter les caractéristiques textuelles des utilisateurs et des items. En tant que générateurs de recommandations, les LLMs peuvent générer des listes de recommandations ou des scores en fonction des comportements historiques et du contexte de l’utilisateur. Par exemple, les modèles GPT, grâce à leur technique de génération autorégressive, peuvent générer dynamiquement du contenu de recommandation.

2. Paradigmes d’apprentissage

L’adaptabilité des LLMs aux tâches de recommandation est principalement réalisée grâce aux paradigmes d’apprentissage suivants :

• Pré-entraînement : Les LLMs sont pré-entraînés sur de vastes ensembles de données textuelles pour apprendre la structure et la sémantique du langage. Par exemple, BERT4Rec est pré-entraîné sur des tâches de prédiction de comportements masqués pour capturer les informations contextuelles des comportements des utilisateurs.
• Fine-tuning : Sur la base du pré-entraînement, les LLMs sont affinés à l’aide de données spécifiques à une tâche pour s’adapter aux tâches de recommandation. Par exemple, le modèle P5, grâce à un fine-tuning d’instructions multi-tâches, peut exécuter diverses tâches de recommandation, telles que la prédiction de scores et le résumé de commentaires.
• Prompting sans fine-tuning : En concevant des prompts spécifiques, les LLMs peuvent exécuter des tâches de recommandation sans modifier les paramètres du modèle. Par exemple, le modèle NIR utilise une stratégie de prompts en plusieurs étapes pour guider GPT-3 dans la génération de recommandations de films.

3. Ensembles de données et métriques d’évaluation

Cet article présente en détail les ensembles de données couramment utilisés dans la recherche sur les systèmes de recommandation, tels que les commentaires sur les produits Amazon, MovieLens et Yelp, et discute des caractéristiques et des défis de ces ensembles de données. De plus, l’article introduit les métriques d’évaluation couramment utilisées dans les tâches de recommandation, telles que l’erreur quadratique moyenne (MSE), l’erreur absolue moyenne (MAE), le gain cumulé décroissant normalisé (NDCG), ainsi que les scores BLEU et ROUGE pour les tâches de génération de langage.

4. Résultats et discussion

En comparant diverses méthodes de recommandation basées sur les LLMs, cet article tire les conclusions suivantes :

• Adaptabilité : Les LLMs peuvent s’adapter à des tâches en aval avec peu de données et excellent dans les tâches de recommandation inter-domaines. Par exemple, le modèle P5 peut fournir des recommandations efficaces dans des domaines non vus auparavant.
• Problème de démarrage à froid : Les LLMs, grâce aux caractéristiques textuelles et à la vaste base de connaissances acquise lors du pré-entraînement, peuvent atténuer efficacement le problème de démarrage à froid. Par exemple, Sanner et al. ont montré que l’apprentissage en few-shot peut rivaliser avec les méthodes de recommandation traditionnelles dans des scénarios de démarrage à froid pour les utilisateurs.
• Explicabilité : La nature interactive et la capacité de génération de texte des LLMs les rendent performants dans les tâches d’explication des recommandations, générant des explications cohérentes et contextuellement pertinentes, renforçant ainsi la confiance des utilisateurs dans le système.

5. Limitations

Bien que les LLMs montrent un potentiel énorme dans les systèmes de recommandation, certaines limitations subsistent :

• Différence des objectifs d’apprentissage : Les objectifs de pré-entraînement des LLMs diffèrent de ceux des systèmes de recommandation, ce qui limite leur compréhension des relations utilisateur-item.
• Limite de la longueur du contexte : La fenêtre contextuelle fixe des LLMs limite leur application dans les tâches de recommandation de séquences longues.
• Hallucinations et problèmes de format de sortie : Les LLMs peuvent générer des sorties dénuées de sens ou non conformes aux exigences, nécessitant des techniques d’ingénierie de prompts et des modules de post-traitement pour les atténuer.
• Coût de calcul : L’entraînement et le fine-tuning des LLMs nécessitent des ressources de calcul importantes, et l’accès aux API de certains modèles est coûteux.

Points forts de la recherche

Le principal point fort de cet article réside dans la comparaison systématique de diverses méthodes de recommandation basées sur les LLMs, fournissant une référence importante pour les recherches futures grâce à la classification et à l’évaluation. Plus précisément, les innovations de cet article incluent :

• Cadre de classification : Cet article propose un cadre de classification basé sur le rôle des LLMs dans les systèmes de recommandation, les paradigmes d’apprentissage et la structure du système, offrant une perspective claire aux chercheurs.
• Cadre de recommandation multi-tâches : Cet article explore comment construire un cadre de recommandation unifié grâce à l’apprentissage multi-tâches, comme les modèles P5 et M6-Rec, démontrant le potentiel des LLMs dans des tâches de recommandation diversifiées.
• Démarrage à froid et explicabilité : Cet article analyse en détail les avantages des LLMs dans les tâches de démarrage à froid et d’explication des recommandations, fournissant des insights importants pour les applications pratiques.

Conclusion et signification

En comparant de manière exhaustive les méthodes de recommandation basées sur les LLMs, cet article révèle le potentiel et les défis de ces méthodes dans les systèmes de recommandation. Grâce à leur puissante capacité de représentation textuelle et à leur adaptabilité, les LLMs peuvent résoudre efficacement de nombreux problèmes auxquels sont confrontés les systèmes de recommandation traditionnels, tels que le démarrage à froid et l’explicabilité. Cependant, les différences d’objectifs d’apprentissage, les limites de la longueur du contexte et les coûts de calcul des LLMs nécessitent des recherches supplémentaires. Les travaux de cet article fournissent une base théorique et des directives pratiques importantes pour les recherches futures sur les systèmes de recommandation, favorisant l’application et le développement des LLMs dans le domaine de la recommandation.