学术报告：基于预训练增强的时空图神经网络在多变量时间序列预测中的应用研究

研究作者、机构与发表信息

本文的主要作者为 Zezhi Shao、Zhao Zhang、Fei Wang（通讯作者）和 Yongjun Xu，隶属于中国科学院计算技术研究所与中国科学院大学。该研究以“Pre-training Enhanced Spatial-Temporal Graph Neural Network for Multivariate Time Series Forecasting”为题，发表在 2022 年 8 月于华盛顿举行的第28届 ACM SIGKDD Conference on Knowledge Discovery and Data Mining（KDD ’22）会议中。论文标注的数字对象标识符（DOI）为：https://doi.org/10.¹¹⁴⁵⁄_3534678.3539396。

学术背景与研究目的

研究背景
多变量时间序列（Multivariate Time Series, MTS）的预测问题广泛存在于交通、能源、经济学等领域，是决策制定的重要依据。传统研究表明，多变量时间序列预测需要同时考虑时间维度的复杂周期性模式及其不同变量间的非欧氏时空依赖关系。近年来，时空图神经网络（Spatial-Temporal Graph Neural Networks, STGNNs）作为一种结合图神经网络（Graph Neural Network, GNN）和序列深度学习模型的技术框架，在捕捉时间序列的空间和时间特性上展现出卓越的性能。然而，大多数STGNNs因受到复杂性限制，仅能处理短期的历史数据（例如过去一小时的数据），难以显式学习长期的时空依赖信息，这为预测精度提升带来了难题。

研究目的
基于上述挑战，本文研究的目的是提出一种新颖的框架，利用可扩展时间序列预训练模型（Scalable Time Series Pre-training Model, 简称为 STEP）增强 STGNNs 的能力，从而在短期时间序列数据的输入上，补充长期历史背景信息和上下文语境，并更好地建模时间序列间的复杂依赖关系。

研究流程与具体过程

本研究设计了一个名为 STEP 的框架，该框架包含两个主要阶段：预训练阶段和预测阶段。以下详细阐述研究的具体流程。

第一阶段：预训练阶段
在预训练阶段，研究团队设计了一种基于 Transformer 模块的高效无监督预训练模型（称为 TSFormer），该模型通过掩码自动编码策略（Masked Autoencoding Strategy）从非常长期的历史时间序列数据中学习、提取时间模式并生成段级表示（Segment-level Representations）。以下为该阶段的核心步骤：

1. 窗口划分与掩码设计
   时间序列数据被分割成多个不重叠的时间段（patch），每个段包含一个固定的时间步长（例如12步）。以此为单位，随机对75%的时间片段进行掩码处理，仅保留部分片段以形成输入序列。这种高比例的掩码策略增加了模型在无监督情况下学习全局语义信息的难度，从而促进模型学习高层语义而非仅聚焦简单的插值预测。

2. Transformer 编码器（Encoder）设计
   TSFormer 的编码器由多层 Transformer 块组成。输入的被掩码的片段位置通过 Learnable Positional Embeddings 添加顺序信息，未掩码的片段则通过线性投影嵌入到隐藏空间中。编码器仅对未掩码片段进行操作，以大幅降低计算复杂性。

3. Transformer 解码器（Decoder）设计
   解码器为轻量级设计，用以从编码的高层语义表示中重建完整的时间序列。虽然编码器和解码器均采用 Transformer 块，但解码器在计算复杂度和结构深度上相对简单。

4. 预训练目标及损失函数
   模型训练的目标是最小化原始时间片段和重建时间片段之间的平均绝对误差（Mean Absolute Error, MAE）。仅对掩码片段计算损失，明确模型对缺失部分的学习能力。

第二阶段：预测阶段
在预测阶段，TSFormer 的预训练结果被用于提升下游 STGNN 模型。以下为该阶段的主要流程：

1. 段级表示与语境信息传递
   TSFormer 为非常长期的时间序列生成段级表示，这些表示被用于编码历史时序的全局上下文信息。STGNN 以这些丰富语境为补充输入，从而能够更高效地建模时空依赖。

2. 图结构学习（Graph Structure Learning）
   针对时间序列间可能缺失或不完整的图结构信息，研究团队设计了一种基于 TSFormer 表征的 kNN 图作为正则项，引导离散图结构的训练。通过 gumbel-softmax 重参数化将离散采样流程变为可微分，从而优化生成邻接矩阵的分布。

3. 增强的 STGNN 模型
   研究以 Graph WaveNet 为基础模型，将 TSFormer 的上游段级表示通过语义投影整合到下游预测模型的隐藏状态中，从而进一步提升预测性能。

研究主要结果

通过对 METR-LA、PEMS-BAY 和 PEMS04 三个公开交通数据集进行实验，本研究展示了 STEP 框架的显著效果，以及 TSFormer 的表达能力。

1. 预测性能
   在不同时间跨度（3步、6步、12步）的预测结果中，STEP 在 MAE、RMSE 和 MAPE 三大指标上均表现出最好性能。与基础模型 Graph WaveNet 比较，性能提升显著（例如在 METR-LA 数据集12步预测中，MAE 从3.53显著降低至3.37）。

2. 语义与周期性探测
   TSFormer 通过长序列的段级表示，准确捕获了日周期与周周期，表现出强大的时间模式学习能力。实验还进一步展示了其在掩码片段重建上的精准性。

3. 离散图学习能力
   相较于直接通过原始时间序列计算的相关性图，基于 TSFormer 表征的正则化图展示了更高质量与鲁棒性。

总结与意义

本研究提出了 STEP 框架，它充分利用预训练模型中的优势，突破了传统 STGNN 无法有效处理长期历史时间序列的限制。通过引入 TSFormer，研究为短期时间序列引入了长序列的上下文信息，从而在更大程度上提高了预测准确性和鲁棒性。

科学价值
该研究显著提升了多变量时间序列预测的性能，完善了 STGNN 在长时间依赖建模中的不足，为未来在交通流量预测及智能调度等领域的更深层次应用提供了理论和工具支持。

应用价值
STEP 框架能够推广到多种时空图神经网络，并适用于大多数实际应用场景。例如交通、能源领域的复杂预测需求，以及其他复杂多变量系统的行为建模。

研究亮点

1. 首创性地将基于掩码自编码策略的预训练模型引入时空图神经网络框架。
2. 在超大规模时间序列中实现了高效的段级表示生成，显著减少计算复杂性。
3. 设计了一种自主优化的离散图学习模块，攻克了相关性图建模中的传统障碍。

以上为该文献的详细学术报告内容。