m𝟐ixkg : Mélange pour des exemples négatifs plus difficiles dans le graphe de connaissances

Rapport académique

Introduction

Le graphe de connaissances (knowledge graph, KG) est une forme de données structurées qui enregistre des informations sur les entités et les relations, largement utilisé dans des domaines tels que les systèmes de question-réponse, la recherche d’information et la lecture automatique. La technique d’intégration de graphe de connaissances (Knowledge Graph Embedding, KGE) améliore considérablement les performances des applications associées en mappant les entités et les relations d’un graphe dans un espace vectoriel dense de faible dimension. Cependant, lors de la formation des modèles KGE, la génération d’échantillons négatifs de haute qualité est cruciale.

Actuellement, les modèles KGE dominants rencontrent de nombreux défis lors de la génération d’échantillons négatifs. Certains modèles utilisent des distributions statiques simples, telles que la distribution uniforme ou la distribution de Bernoulli, ces méthodes produisent habituellement des échantillons négatifs peu discriminants. De plus, les méthodes existantes sélectionnent généralement les échantillons négatifs parmi les entités déjà présentes dans le graphe de connaissances, limitant ainsi la capacité à générer des échantillons négatifs plus difficiles.

Cet article propose une nouvelle stratégie hybride, nommée m²ixkg, qui utilise deux opérations mixtes pour générer des échantillons négatifs plus difficiles : tout d’abord, le mélange des entités de tête et de queue sous la même relation, ce qui renforce la robustesse et la capacité de généralisation des embeddings d’entités ; ensuite, en mélangeant les échantillons négatifs ayant des scores élevés pour générer des échantillons négatifs plus difficiles. L’objectif de cette étude est de résoudre les insuffisances des méthodes actuelles de génération d’échantillons négatifs de haute qualité et de valider leur efficacité par des expériences.

Source de l’article

Cet article, intitulé « m²ixkg: Mixing for Harder Negative Samples in Knowledge Graph », a été écrit par Feihu Che et Jianhua Tao de l’Université Tsinghua, et sera publié en 2024 dans le journal « Neural Networks ».

Processus de recherche

L’article détaille le processus de recherche de m²ixkg, comprenant les étapes principales suivantes :

1. Sélection des ensembles de données et des modèles

L’étude utilise trois ensembles de données de référence largement reconnus : FB15k-237, WN18 et WN18RR. Ces ensembles de données proviennent de bases de connaissances réputées, telles que Freebase et WordNet. Les fonctions de scoring sélectionnées incluent TransE, RotatE, DistMult et ComplEx, qui sont des modèles classiques dans la recherche sur les KGE.

2. Paramètres expérimentaux

Les paramètres expérimentaux incluent l’utilisation de l’optimiseur Adam pour l’entraînement des modèles et l’ajustement des hyperparamètres sur l’ensemble de validation. Les hyperparamètres de l’étude incluent la taille des lots, la marge fixe, la taille de l’ensemble des échantillons négatifs et le coefficient de mélange, entre autres.

3. Méthodologie m²ixkg

m²ixkg inclut deux principales opérations mixtes : mélanger les entités de tête et de queue (mix1) et mélanger les échantillons négatifs difficiles (mix2). Concrètement : - Mix1 : Mélange des entités de tête et de queue : Les entités de tête, les relations et les entités de queue sont utilisées comme caractéristiques d’entrée, le codage du modèle et les étiquettes sont opérés par le modèle, réalisant des opérations de mélange pour les triplets sous la même relation. Cela crée de nouveaux triplets, améliorant la capacité de généralisation du modèle. - Mix2 : Mélange des échantillons négatifs difficiles : Premièrement, les échantillons négatifs élevés en qualité sont sélectionnés parmi les échantillons négatifs déjà échantillonnés, puis ces échantillons négatifs sont mélangés pour créer des échantillons négatifs plus difficiles.

Les étapes spécifiques incluent : 1. Sélectionner aléatoirement des entités dans le graphe de connaissances pour former un ensemble de candidats d’échantillons négatifs. 2. Calculer les scores de ces échantillons négatifs et réaliser l’échantillonnage basé sur la probabilité des scores. 3. Sélectionner aléatoirement une paire d’échantillons négatifs et effectuer une interpolation linéaire pour mélanger leurs entités de queue.

4. Fonction de perte

Les fonctions de perte utilisées dans cet article se divisent en deux catégories : - Modèle de distance de translation : comme TransE. - Modèle d’appariement sémantique : comme DistMult et ComplEx.

Le paramétrage des fonctions de perte est crucial pour l’entraînement du modèle, influençant directement les performances du modèle.

Résultats de recherche

L’étude vérifie l’efficacité de la méthode m²ixkg par des expériences. Les résultats expérimentaux montrent que cette méthode surpasse les algorithmes de génération d’échantillons négatifs existants dans plusieurs contextes.

1. Résultats expérimentaux et analyse

En comparaison avec d’autres méthodes classiques de génération d’échantillons négatifs, m²ixkg montre une amélioration notable sur des indices d’évaluation tels que MRR et Hits@10. Concrètement, m²ixkg améliore en moyenne le MRR de 0.0025 et 0.0011 sur les ensembles de données FB15k-237 et WN18RR respectivement, et améliore de manière significative Hits@10 de 0.21, 0.14, 0.94 et 0.27.

2. Expériences d’ablation

Les expériences d’ablation confirment que les opérations mixtes contribuent à l’amélioration des performances du modèle. Les résultats expérimentaux montrent que, peu importe la fonction de scoring ou l’ensemble de données, les deux méthodes de mélange, mix1 et mix2, améliorent significativement les performances du modèle, et l’utilisation combinée des deux donne de meilleurs résultats.

Conclusion et signification

La méthode m²ixkg proposée génère des échantillons négatifs plus difficiles par des opérations mixtes. C’est une technique simple mais efficace conçue pour améliorer les performances des modèles d’intégration de graphe de connaissances. L’étude a confirmé l’impact positif des opérations mixtes sur l’intégration des graphes de connaissances, notamment que le mélange des entités de tête et de queue renforce la généralisation et la robustesse des embeddings appris, et que le mélange des échantillons négatifs difficiles génère des échantillons négatifs plus complexes, augmentant ainsi la capacité du modèle à distinguer les échantillons positifs et négatifs.

Les contributions significatives de la méthode m²ixkg sont les suivantes : - Générer des échantillons négatifs de haute qualité en incorporant des entités virtuelles. - Renforcer la généralisation des embeddings appris en mélangeant les entités de tête et de queue sous la même relation. - Concevoir un mécanisme de sélection de quantité douce adapté pour différents paires tête-relation, permettant de sélectionner avec précision des échantillons négatifs difficiles.

Enfin, cet article fournit une nouvelle perspective et méthode pour la génération d’échantillons négatifs difficiles, et vérifie également son applicabilité étendue sur plusieurs ensembles de données et fonctions de scoring, offrant de nouvelles voies et moyens pour l’optimisation des modèles KGE.