知識グラフ補完のための深い関係グラフインフォマックス（DRGI）

2024-06-18 Tue
知识グラフ（Knowledge Graph, KG）埋め込み技術は人工知能分野における重要な研究課題であり、主に知識の取得と知識グラフの拡張に使用されます。近年、多くのグラフ埋め込みに基づく手法が提案されていますが、これらの手法は通常、知識グラフの意味情報にのみ注目し、グラフの自然な構造情報を無視しています。そのため、グラフ畳み込みネットワーク（Graph Convolutional Networks, GCN）手法が一部の構造情報を捉えることができても、知識グラフの不完全性のために依然として情報不足の問題に直面しています。この問題を克服するために、本研究では新たなモデルである深層関係グラフ情報利得（Deep Relational Graph Infomax, DRGI）を提案し、相互情報量（Mutual Information, MI）を最大化することで構造情報と意味情報を十分に活用することを目指します。
本文は、中国電子科技大学未来媒体センターのShuang Liang、Jie Shao、Dongyang Zhang、Jiasheng Zhang、及び北京大学計算機科学系のBin Cuiによって共同執筆され、2021年IEEE Transactions on Knowledge and Data Engineering誌に掲載されました。
研究背景知識グラフは、実体とその関係を記述するセマンティックネットワークの一種で、典型的な知識グラフの表現形式は三重項です。例えば、実体hとtが関係rを介して接続される三重項（h, r, t）のように表現されます。既存の知識グラフには大量の実体と関係が含まれていますが、現実世界の知識と比べると依然として大きな不完全性が存在します。したがって、知識グラフの拡張（知識グラフの補完、欠如しているリンクの推論）は非常に重要です。
現在の知識グラフ埋め込み手法として、線形モデルや畳み込みニューラルネットワークモデルなどがあり、主に三重項の意味情報に注目し、構造情報を無視しています。GCN手法はグラフの構造情報を利用できますが、依然として知識グラフの不完全性に起因する情報不足の問題があります。実験を通じて、大量の知識グラフが連結グラフではないことが発見されました。図2に示されるように、EinsteinとNolanは多くの隣接ノードがありますが、直接的な関係はありません。したがって、単純にGCN手法に頼るだけでは、包括的な構造情報を捉えることは困難です。
研究方法この問題を解決するために、DRGIモデルを提案します。このモデルは、同じ適応関係グラフ注意ネットワーク（Adaptive Relational Graph Attention Networks, ARGAT）から成り、この二つのネットワークを用いて意味情報と構造情報をそれぞれ捉えます。このモデルではさらに、相互情報量（MI）最大化の手法を使用し、グラフの構造情報と意味情報を同時に捉えることを目指します。
ワークフローデータの準備：まず、入力された知識グラフを二つのタイプに変換します。一つは構造情報の捕捉用、もう一つは意味情報の捕捉用です。
エンコーダー：
最初のエンコーダーはARGATモデルを通じてグラフの構造情報を捕捉します。具体的な方法は、MI最大化手法を使用し、グローバル表示とローカル表示の間を最大化することで、より包括的なグラフ構造情報を学習します。
二番目のエンコーダーは既知の三重項データでの教師あり学習を通じてグラフの意味情報を捕捉します。
デコーダー：すべての候補実体のスコアを計算するために、畳み込みネットワークをデコーダーとして使用し、欠落している実体の予測を行います。
ARGATモデルARGATは交差相関と関係注意メカニズムを利用し、実体と関係の表示を適応的に更新します。具体的なステップは以下の通りです：
1. 各ターゲットノードに対し、まず隣接ノードの特徴と関係特徴を融合します。
2. 各隣接ノードのターゲットノードに対する注意スコアを計算します。
3. これらのスコアに基づいて、ノードとそのエッジの情報を集約します。
4. エッジの隠れ表示を動的に更新し、適応的な表示学習を実現します。
相互情報量最大化MI最大化の目的は、グローバルな構造情報の捕捉能力を強化することです。具体的な方法は以下の通りです：
1. グラフのローカル表示とグローバル表示の間でMIを計算します。
2. ローカル表示を集約関数を通じてグローバル表示に変換します。
3. 判別器を使用してローカル-グローバル対を判断し、関連する対を正サンプル、関連しない対を負サンプルとして、MIを最大化することでモデルを訓練します。
実験結果FB15k、FB15k-237、WN18、WN18RR、Alyawarra Kinship、UMLSといった複数のデータセット上で包括的な実験を行いました。多くの既存手法との比較により、DRGIモデルはすべての指標において優れたパフォーマンスを示しました。特にFB15k-237とWN18RRデータセットでは、DRGIは他のすべてのモデルを超え、より高速な収束速度と優れた予測性能を示しました。
主要な貢献革新的なモデル：新しいグラフ埋め込みモデルDRGIを提案し、MI最大化を通じて構造情報と意味情報を組み合わせました。
適応的エンコーダー：ARGATエンコーダーを導入し、交差相関と関係注意メカニズムを利用して実体と関係の適応学習を実現しました。
包括的な実験：複数のベンチマークデータセットでの実験結果は、DRGIの有効性と効率性を示しました。特に低次数実体に対するパフォーマンスが顕著です。
結論本研究で提案された新モデルDRGIは、知識グラフにおける構造情報不足の問題を効果的に解決します。MI最大化の手法を通じて、DRGIは完全な構造情報を捕捉するだけでなく、より高速な収束速度と優れた予測性能を持ちます。この研究は、知識グラフの拡張に向けた新しいアイデアと方法を提供し、構造情報と意味情報の統合の重要性を示しました。
将来の研究では、モデルの複雑度をさらに最適化し、このモデルをオープンドメインの状況に適用する方法を検討します。他の資料（例えばテキスト）から情報を抽出して知識グラフをさらに強化することを目指します。