本文名为《Large Pre-Trained Time Series Models for Cross-Domain Time Series Analysis Tasks》,作者为 Harshavardhan Kamarthi 和 B. Aditya Prakash,二者均隶属于 Georgia Institute of Technology 的计算学院(College of Computing)。联系信息分别为 harsha.pk@gatech.edu 和 badityap@cc.gatech.edu。这篇研究被提交至第 38 届 Neural Information Processing Systems(NeurIPS 2024)会议。
本研究聚焦于时间序列分析领域,主要包括预测(forecasting)和分类(classification)任务。这些任务在多个领域中具有重要应用,比如零售、气象、经济学和健康医学。然而,当前的主流方法往往需为不同的任务单独设计并从零开始训练模型,对数据规模和领域知识的需求较高,这使得过程复杂且资源密集。在语言模型(如 GPT 等)和计算机视觉领域中,大型预训练模型(Large Pre-Trained Models, LPTM)的兴起推动了特定任务上的高效模型微调和卓越性能表现。
现实中,领域间的时间序列数据具有高度异质性,数据的生成动力学、采样率、噪声等特性都可能因领域的不同而差异显著。因此,将语言和视觉领域中成功的预训练模型引入时间序列分析需要克服以下关键挑战: 1. 不同领域时间序列数据如何以一致又有意义的方式输入模型; 2. 针对异质领域数据如何进行有效的预训练。
本文的研究目的是设计一种适用于跨多领域时间序列数据的预训练模型,该模型需在有限领域特定数据和资源下提供具有竞争力甚至更优的表现。为此,研究团队提出了一种名为 Large Pre-trained Time Series Models(LPTM)的新型方法,该方法引入了一个自适应分段(adaptive segmentation)模块,用于在预训练阶段根据自监督学习(self-supervised learning)任务的表现自动识别最优的分段策略。
本文的研究分为多个步骤,重点集中在模型的设计与评估流程。
研究引入了多个领域的异质时间序列数据用于多领域预训练,数据集主要包括: - 流行病学数据:涵盖 1888 年至今 11 种疾病的时间序列。 - 电力数据:ETT1 和 ETT2 数据集,采样频率为 1 小时。 - 交通数据:PEMS-Bays 和 METR-LA。 - 需求数据:纽约市的自行车和出租车需求时间序列。 - 股票预测数据:纳斯达克和 S&P 500 指数。 - M4 竞赛数据集:来自人口统计、金融、经济等领域的时间序列。 - 传感器行为数据:UCI 和 UEA 数据库的传感器数据。
研究通过下游的时间序列预测与分类任务,测试 LPTM 的性能。下游任务目标包括: - 流感预测(美国和日本流感发病率)。 - 电力需求预测和交通预测。 - 股票价格预测与人口经济数据预测。 - 传感器数据集的时间序列分类。
LPTM 模型在多个任务中展现了优异的性能,具体结果如下:
LPTM 能够在未经过微调的情况下直接执行跨领域的时间序列预测。通过 RMSE(一种衡量误差的指标)的结果比较,LPTM 相较于其他最新模型如 TimesFM、Lag-Llama 和 Chronos,展现了更优的通用性与准确性。
针对具体领域的任务,LPTM 在流感、电力、交通、股票和人口经济数据的预测任务中,通常排名第一或紧随最优基线表现。在电力、交通预测和 M4 数据集上其结果大幅优于基线。
在 UCI 和 UEA 的 35 个分类数据集上的测试显示,LPTM 的整体分类准确率高于主流分类模型且具有较高的统计显著性。
在数据稀缺的情况下,LPTM 显示出相比其他基线模型更强的训练速度和数据效率。结合预训练策略,LPTM 在只使用部分训练数据的场景中仍能保持卓越性能。
本文提出的 LPTM 是一种通用的时间序列大规模预训练模型,不仅在跨领域任务中实现了高度适应性,还显著降低了数据和计算资源的需求。研究主要贡献如下: 1. 提出了一种能够自动适配时间序列的自适应分段方法。 2. 利用自监督学习提升了小数据集下的表现。 3. 在多领域中缩短了模型训练时间。
这些贡献不仅在时间序列的分类和预测应用中有直接的实践价值,也为多领域联合建模提供了理论支持。
除却成就,作者也指出了模型的限制: 1. 当前模型主要集中于单变量时间序列,对多变量时间序列和带有不确定性度量的预测未全面覆盖。 2. 尚未完全应用于需要情境信息的多模态数据分析。
未来的研究可能进一步结合文本、图像等多模态信息拓展其适用性,并在高不确定性情况下增强模型的预测准确性及公平性。
研究文章引用大量前沿论文,包括 Nie et al. (2022)、Das et al. (2023b)、Ansari et al. (2024)。这些文献涵盖了 Transformer 模型优化、时间序列 SSL 方法及跨领域建模的相关研究,整体推动了时间序列预训练的领域进步。