通过联合学习结构特征和软逻辑规则进行知识图谱补全

计算机科学 信息科学 人工智能
知识图谱补全 知识图谱嵌入 图注意力神经网络 链接预测 软逻辑规则

近年来，知识图谱（Knowledge Graph, KG）已经在许多人工智能任务中得到了广泛应用。知识图谱通过使用头实体（head entity）、关系（relation）和尾实体（tail entity）的三元组（Triplet）表示事物及其关系，如典型三元组(h = Paris, r = capital_of, t = France)表示真实世界的一个常识事实。虽然知识图谱已经成为智能问答、实体消歧、语义网络搜索和事实核查等众多下游人工智能应用的重要资源，但现存的知识图谱并不完美，常常存在缺失关系或包含错误的问题。为了应对这些问题，知识图谱嵌入（Knowledge Graph Embedding, KGE）成为了一个主要的任务，它通过学习图谱中的结构信息和潜在逻辑规则来预测缺失的事实。

研究背景

现有的KGE模型虽然在一定程度上提高了知识图谱的完备性，但仍然面临以下两个未解决的挑战：（i）如何同时利用实体的局部结构特征和潜在的软逻辑规则来学习更具表达力的实体和关系嵌入；（ii）如何将这两个学习过程整合到一个统一的模型中，以获得更优的表现。

为了解决这些问题本文提出了一种新颖的KGE模型JSSKGE，它能够联合学习实体的局部结构特征和软逻辑规则，并在多个数据集上通过实验验证了其优于当前最先进的方法。

论文来源

本文的作者是Weidong Li、Rong Peng和Zhi Li，分别来自武汉大学计算机学院和广西师范大学计算机与信息工程学院。该研究发表于2021年8月30日，出现在IEEE Transactions on Knowledge and Data Engineering 期刊的第35卷第3期。

研究工作流

本研究包括几个主要步骤，每个步骤由特定的实验或数据处理方法支持：

1. 结构特征学习

首先，使用图注意力网络（Graph Attention Networks, GATs）来聚合节点的局部结构信息。该网络专门为处理图结构数据设计，可以自动从每个节点的邻居节点中学习其重要性，从而更精确地表示实体的结构特征。

2. 软逻辑规则的利用

使用知识图谱中隐含的软逻辑规则作为专家进一步修正实体和关系的嵌入。软逻辑规则与硬逻辑规则不同，它允许存在一定的反例，可以利用关联规则挖掘工具（如AMIE）自动获得，从而避免了人工规则构建的高成本。

3. 联合学习

通过联合学习图注意力神经网络和软逻辑规则，可以获得包含更多信息的嵌入，用于预测新事实。本文提出的JSSKGE模型整合了实体的结构信息和软逻辑规则，在四个常用数据集上的实验结果优于当前最先进方法。

实验与结果

本文在四个典型的数据集上对JSSKGE进行了广泛的实验评估，包括FB15k、WN18、FB15k-237和WN18RR。这些数据集涵盖了不同领域和规模的知识图谱：

  • FB15k：自由基知识图谱的一个子集，包含了关于电影、演员、体育和奖项等方面的大量事实。
  • WN18：WordNet的一个子集，主要包含涉及直观可用词典和同义词库的内容。
  • FB15k-237和WN18RR：分别是FB15k和WN18的子集，旨在消除测试泄露的问题，使得模型更具挑战性和可靠性。

模型评估指标

评估模型最终效果，常用的指标有平均排名（Mean Rank, MR）、平均倒数排名（Mean Reciprocal Rank, MRR）和Hits@K（预测结果排名前K的比例）。特别地，本文采用了经过过滤的评估指标，避免了因训练集或验证集中存在的相关候选实体而导致的预测结果排名异常问题。

实验结果

在FB15k和WN18数据集上的实验结果表明，JSSKGE模型在Hits@10、Hits@3和Hits@1等多个指标上的表现优于大多数现有模型，特别在WN18数据集上的表现异常突出。此外，在更具挑战性的FB15k-237和WN18RR数据集上，JSSKGE模型仍表现出较高的鲁棒性和有效性：

  • FB15k-237：在MRR、Hits@10、Hits@3和Hits@1指标上，JSSKGE模型的表现超过了其他多种基准模型，验证了联合学习结构特征和软逻辑规则的可行性。
  • WN18RR：尽管AnyBURL-EXT模型在这一数据集上表现更佳，但JSSKGE模型仍显示了与其他模型竞逐的显著优势。

参数影响分析

通过调整超参数的实验进一步验证了UNSSKGE模型中结构特征学习和软逻辑规则的相对重要性。结果显示，单独使用其中任何一种方法都无法达到最佳效果，只有联合学习才能充分发挥两者的优势。

注意力权重可视化

对模型中图注意力层的注意力权重变化趋势进行可视化，结果显示模型会越来越关注某些特定的实体连接，以优化预测结果，这进一步验证了注意力机制在学习过程中的重要角色。

结论

本文提出的JSSKGE模型通过联合学习结构特征和软逻辑规则，有效地提高了知识图谱嵌入的表达能力和预测准确性。尽管如此，该模型在计算成本和空间资源占用方面有待改进，未来的工作将继续探索更高效的结构特征学习方法，并引入更复杂的逻辑规则以进一步提升模型性能。