基于课程引导的自监督动态异质网络表示学习

信息科学 人工智能 计算机科学
网络嵌入 变压器模型 动态异质网络嵌入 课程学习 自监督学习

学术背景

在现实世界中，网络数据（如社交网络、引文网络等）通常包含多种类型的节点和边，并且这些网络结构会随着时间的推移而动态变化。为了更好地分析这些复杂的网络，研究者们提出了网络嵌入（network embedding）技术，旨在将网络中的节点和边表示为固定长度的向量，以便于后续的分析任务，如节点分类、链接预测等。然而，传统的网络嵌入模型在处理动态异质网络（dynamic heterogeneous networks）时面临诸多挑战，尤其是如何有效地捕捉网络结构的动态变化和异质性。

近年来，Transformer模型在自然语言处理（NLP）领域取得了显著的成功，但其在网络嵌入中的应用仍处于起步阶段。Transformer模型通过自注意力机制（self-attention）能够捕捉序列数据中的复杂关系，这为网络嵌入提供了新的思路。然而，现有的Transformer模型大多针对静态或同质网络设计，缺乏对动态异质网络的有效支持。

为了解决这一问题，本研究提出了一种新的Transformer模型——DHG-BERT（Dynamic Heterogeneous Graph BERT），该模型结合了课程学习（curriculum learning）和自监督学习（self-supervised learning）策略，旨在更高效地学习动态异质网络的表示。通过引入课程学习，模型能够从简单的网络结构逐步过渡到复杂的结构，从而提高训练效率和表示质量。

论文来源

本论文由Namgyu Jung、David Camacho、Chang Choi和O.-Joun Lee共同撰写。Namgyu Jung和Chang Choi来自韩国嘉泉大学计算机工程系，David Camacho来自西班牙马德里理工大学计算机系统工程系，O.-Joun Lee则来自韩国天主教大学人工智能系。论文于2025年3月11日被接受，并发表在《Cognitive Computation》期刊上，DOI为10.1007/s12559-025-10441-1。

研究流程

1. 数据预处理与网络构建

本研究以引文网络（bibliographic network）为例，构建了一个动态异质网络。该网络包含三种类型的节点：作者（author）、论文（paper）和会议（venue），以及三种类型的关系：作者撰写论文、论文发表在会议、论文引用其他论文。网络随着时间的推移而动态变化，每个节点和边都带有时间戳，记录了其首次出现的时间。

为了表示网络的复杂结构，研究者采用了元路径（meta-path）作为输入。元路径是由特定类型的节点组成的序列，能够捕捉网络中不同节点之间的关系。例如，元路径“作者-论文-作者”表示两位作者共同撰写了一篇论文。研究者从2008年至2018年的引文数据中提取了71种元路径，并将其作为模型的输入。

2. 模型结构

DHG-BERT模型基于ALBERT（A Lite BERT）架构，并针对动态异质网络进行了修改。模型的核心思想是通过自监督学习任务来捕捉网络结构的异质性和动态性。具体而言，模型提出了两种自监督学习任务：

  • 掩码元路径恢复（Masked Meta-path Recovery, MMR）：类似于BERT中的掩码语言模型（Masked Language Model, MLM），MMR任务要求模型预测元路径中被掩码的节点。通过这一任务，模型能够学习节点之间的共现关系和异质性。

  • 时间顺序预测（Temporal Order Prediction, TOP）：该任务要求模型对同一节点在不同时间点生成的元路径进行时间顺序预测。通过这一任务，模型能够捕捉网络结构的动态变化。

此外，模型还引入了课程学习策略，逐步从简单的元路径过渡到复杂的元路径，以提高训练效率。

3. 训练与微调

模型的训练分为三个阶段：预训练（pre-training）、后训练（post-training）和微调（fine-tuning）。

  • 预训练：模型通过MMR和TOP任务学习网络的一般拓扑结构和动态变化。预训练从较短的元路径开始，逐步过渡到较长的元路径，以帮助模型逐步理解复杂的网络结构。

  • 后训练：在后训练阶段，模型专注于学习与目标任务相关的网络结构。例如，在预测作者合作关系的任务中，模型会重点学习与作者相关的元路径（如“作者-论文-作者”）。

  • 微调：在微调阶段，模型通过添加额外的全连接层来适应具体的下游任务，如链接预测。

4. 实验与评估

研究者通过预测未来作者合作关系来评估模型的性能。实验使用了ArnetMiner数据集，该数据集包含了2008年至2018年的引文数据。研究者将2008年至2013年的数据用于训练，2014年至2018年的数据用于测试。实验结果表明，DHG-BERT在预测作者合作关系方面的平均准确率达到了0.94，显著优于现有的网络嵌入模型。

主要结果

  1. 模型性能：DHG-BERT在预测作者合作关系任务中表现优异，平均准确率为0.94，较现有模型提升了0.13至0.35。特别是在动态属性存在的情况下（如未来合作预测），模型的准确率显著提高。

  2. 自监督学习任务的有效性：通过MMR和TOP任务，模型能够有效地捕捉网络结构的异质性和动态性。实验表明，结合这两种任务的模型性能显著优于仅使用其中一种任务的模型。

  3. 课程学习策略的有效性：课程学习策略显著提高了模型的训练效率和表示质量。通过从简单的元路径逐步过渡到复杂的元路径，模型能够更好地理解网络的全局结构。

结论与意义

本研究提出了一种新的Transformer模型——DHG-BERT，该模型通过结合课程学习和自监督学习策略，能够有效地学习动态异质网络的表示。实验结果表明，DHG-BERT在预测作者合作关系等任务中表现优异，显著优于现有的网络嵌入模型。

本研究的科学价值在于为动态异质网络的表示学习提供了一种新的思路，尤其是在结合Transformer模型和课程学习策略方面。此外，该模型在实际应用中具有广泛的潜力，如社交网络分析、引文网络分析等。

研究亮点

  1. 新颖的Transformer模型：DHG-BERT是首个专门针对动态异质网络设计的Transformer模型，能够有效捕捉网络结构的异质性和动态性。

  2. 自监督学习任务：通过MMR和TOP任务，模型能够学习节点之间的共现关系和动态变化，从而提高表示质量。

  3. 课程学习策略：课程学习策略显著提高了模型的训练效率，使其能够从简单的网络结构逐步过渡到复杂的结构。

  4. 应用价值：该模型在实际应用中具有广泛的潜力，如社交网络分析、引文网络分析等。

其他有价值的信息

本研究的局限性在于无法处理新出现的节点和边，且未考虑节点和边的属性。未来的研究将探索如何通过归纳表示学习（inductive representation learning）和多模态Transformer模型来解决这些问题。