Infomax Graphiques Relationnels Profonds pour le Complètement de Graphes de Connaissances

Informatique Sciences de l'information Intelligence artificielle
incorporation de graphes de connaissances maximisation de l'information mutuelle réseaux d'attention graphique complètement des graphes de connaissances intelligence artificielle

Knowledge Graph (KG) embedding technique est un sujet de recherche important dans le domaine de l’intelligence artificielle, principalement utilisé pour l’acquisition de connaissances et l’extension du graphe de connaissances. Bien que de nombreuses méthodes basées sur l’intégration de graphes aient été proposées ces dernières années, elles se concentrent généralement uniquement sur les informations sémantiques des graphes, en négligeant les informations sur la structure naturelle du graphe. Par conséquent, bien que les méthodes de réseau de convolution de graphes (Graph Convolutional Networks, GCN) puissent capturer une partie des informations structurelles, elles continuent de faire face à un manque d’informations dû à l’incomplétude du graphe de connaissances. Pour surmonter ce problème, cette étude propose un nouveau modèle, appeléd Deep Relational Graph Infomax (DRGI), qui maximise l’utilisation des informations structurelles et sémantiques en s’appuyant sur la maximisation de l’information mutuelle (Mutual Information, MI).

Cet article est coécrit par Shuang Liang, Jie Shao, Dongyang Zhang, Jiasheng Zhang du Future Media Center de l’Université de l’Électronique et de la Technologie de Chine, ainsi que Bin Cui du Département d’informatique de l’Université de Pékin, et publié dans le magazine IEEE Transactions on Knowledge and Data Engineering en 2021.

Contexte de l’étude

Un graphe de connaissances est un réseau sémantique décrivant des entités et leurs relations. La forme typique de représentation d’un graphe de connaissances est le triplet, comme par exemple le triplet (h, r, t) où l’entité h est connectée à l’entité t par la relation r. Bien que les graphes de connaissances actuels contiennent déjà un grand nombre d’entités et de relations, ils restent largement incomplets par rapport aux connaissances du monde réel. Par conséquent, l’extension du graphe de connaissances (complétion du graphe de connaissances, inférence des liens manquants) est particulièrement importante.

Les méthodes actuelles d’intégration de graphe de connaissances, telles que les modèles linéaires ou les modèles de réseaux neuronaux convolutionnels, se concentrent principalement sur les informations sémantiques du triplet, tout en négligeant les informations structurelles. Bien que les méthodes GCN puissent utiliser les informations de la structure du graphe, elles sont toujours confrontées au problème du manque d’information dû à l’incomplétude du graphe de connaissances. Comme le montrent les expériences, de nombreux graphes de connaissances ne sont pas des graphes connectés. Par exemple, bien que Einstein et Nolan, illustrés dans la Figure 2, aient de nombreux voisins, ils n’ont toujours aucune relation directe. Donc, une méthode unilatérale basée uniquement sur les GCN a du mal à capturer pleinement les informations structurelles.

Méthode de recherche

Pour résoudre ce problème, nous avons proposé le modèle DRGI, qui est composé de deux réseaux d’attention de graphes relationnels adaptatifs (Adaptive Relational Graph Attention Networks, ARGAT) identiques, utilisés respectivement pour capturer les informations sémantiques et structurelles. Ce modèle utilise par ailleurs une méthode de maximisation de l’information mutuelle (MI) pour capturer à la fois les informations structurelles et sémantiques du graphe.

Processus de travail

  1. Préparation des données : Nous commençons par convertir le graphe de connaissances en entrée en deux types, l’un pour capturer les informations structurelles et l’autre pour capturer les informations sémantiques.

  2. Encodeur :

    • Le premier encodeur capture les informations structurelles du graphe via le modèle ARGAT. La méthode spécifique consiste à utiliser la maximisation de l’information mutuelle (MI) entre la représentation globale et la représentation locale, ce qui permet d’apprendre des informations structurelles plus complètes.
    • Le deuxième encodeur capture les informations sémantiques du graphe en réalisant un apprentissage supervisé sur les triplets connus.

  3. Décodeur : Nous utilisons un réseau convolutionnel comme décodeur pour calculer les scores de toutes les entités candidates afin de prédire les entités manquantes.

Modèle ARGAT

ARGAT utilise la corrélation croisée et le mécanisme d’attention relationnelle pour mettre à jour de façon adaptative les représentations des entités et des relations. Les étapes spécifiques incluent : 1. Pour chaque nœud cible, fusionner d’abord les caractéristiques des nœuds voisins avec les caractéristiques des relations. 2. Calculer le score d’attention de chaque nœud voisin pour le nœud cible. 3. Agréger les informations des nœuds et des arêtes en fonction de ces scores. 4. Mettre à jour dynamiquement la représentation cachée des arêtes pour réaliser un apprentissage représentatif adaptatif.

Maximisation de l’information mutuelle

L’objectif de la maximisation de l’information mutuelle (MI) est d’améliorer la capacité de capture des informations structurelles globales du graphe. La méthode spécifique consiste à : 1. Calculer la MI entre la représentation locale et la représentation globale du graphe. 2. Résumer la représentation locale en une représentation globale grâce à une fonction de lecture. 3. Utiliser un discriminateur pour juger les paires locale-globale associées (comme échantillons positifs) et les paires non associées (comme échantillons négatifs) en maximisant la MI pour entraîner le modèle.

Résultats expérimentaux

Nous avons mené des expériences complètes sur plusieurs ensembles de données, dont FB15k, FB15k-237, WN18, WN18RR, Alyawarra Kinship et UMLS. En comparaison avec plusieurs méthodes existantes, notre modèle DRGI a démontré d’excellentes performances sur divers indicateurs. En particulier, sur les ensembles de données FB15k-237 et WN18RR, DRGI a surpassé tous les autres modèles, démontrant une vitesse de convergence plus rapide et une meilleure performance de prédiction.

Contributions clés

  1. Modèle innovant : Propose un nouveau modèle d’intégration de graphe, DRGI, qui combine les informations structurelles et sémantiques grâce à la maximisation de l’IM.
  2. Encodeur adaptatif : Introduit l’encodeur ARGAT utilisant la corrélation croisée et le mécanisme d’attention relationnelle pour réaliser un apprentissage adaptatif des entités et des relations.
  3. Expérimentation complète : Les résultats expérimentaux sur plusieurs ensembles de données de référence ont démontré l’efficacité et l’efficience de DRGI, particulièrement dans le cas d’entités à faible degré.

Conclusion

Le nouveau modèle DRGI présenté dans cet article permet de résoudre efficacement le problème du manque d’informations structurelles dans le graphe de connaissances. Grâce à la méthode de maximisation de la MI, DRGI peut non seulement capturer les informations structurelles complètes, mais aussi obtenir une vitesse de convergence plus rapide et de meilleures performances de prédiction. Cette recherche propose une nouvelle réflexion et une nouvelle méthode pour l’extension du graphe de connaissances, et montre également l’importance d’intégrer des informations structurelles et sémantiques.

Dans les travaux futurs, nous chercherons à optimiser davantage la complexité du modèle, tout en considérant comment appliquer ce modèle à des situations de domaine ouvert, afin d’extraire des informations à partir d’autres sources telles que des textes pour renforcer davantage le graphe de connaissances.