图神经网络中的极化消息传递

随着图结构数据在诸多领域的广泛应用,图神经网络(GNN)作为分析图数据的有力工具备受关注。然而,现有GNN在学习节点表示时,主要依赖于邻居节点的相似性信息,忽视了节点间差异性的潜力。近期,一项新颖的”极化消息传递”(Polarized message-passing, PMP)范式应运而生,为GNN设计注入了全新理念。

研究背景:传统GNN通过聚合邻居节点的特征来学习目标节点的表示,但仅考虑了节点间的相似性,未能充分利用节点差异性所蕴含的丰富信息。实际上,现实世界的图数据中普遍存在”友谊悖论”、”影响不平衡”等现象,反映出图中节点的独特性质。有鉴于此,本研究提出PMP范式,旨在同时捕获节点间相似性和差异性的双重信息,借此提升GNN的表示学习能力。

研究机构:本项研究由来自新加坡科技研究局、香港浸会大学、北京邮电大学、西南大学等机构的学者共同完成。论文发表于2024年人工智能顶级期刊《人工智能》(Artificial Intelligence)。

研究内容: a)研究流程 - 针对GNN的每一层,PMP首先构建两个可学习矩阵,分别量化节点间的相关性和差异性。 - 然后,PMP通过指数运算对两个矩阵进行融合,得到偏振消息权重矩阵,用于组合邻居节点的特征。 - 最终,目标节点的表示由其自身特征与经权重矩阵调制的邻居特征聚合而成。

b)主要结果 - 理论分析证明,PMP范式赋予了GNN更强的表达能力,能有效捕捉图数据中的节点异构性。 - 基于PMP提出三种新颖GNN:PMP图卷积网络(PMP-GCN)、PMP图注意力网络(PMP-GAT)和PMP图PageRank网络(PMP-GPN)。 - 在12个真实世界数据集上的5个下游任务中,所提出的三种PMP-GNN均优于现有主流GNN模型。

c)研究意义 - PMP范式通过合理利用节点差异性信息,有助于GNN学习更富表现力的节点表示。 - 新型PMP-GNN模型在多种应用场景下展现出卓越性能,为图数据分析开辟了新视野。 - 该研究为GNN设计提供了全新思路,有望推动GNN在复杂图数据挖掘中的创新应用。

d)研究创新 - 首次将节点差异性信息融入GNN的消息传递范式。 - 提出新颖的PMP范式,解决了现有GNN片面利用节点相似性的局限。 - 发明三种基于PMP的创新型GNN,拥有更强的表达能力与鲁棒性。

PMP范式创新性地将节点差异性信息纳入了GNN的表示学习过程,拓展了GNN的应用前景,有望推动图挖掘领域的理论与实践发展。