学术报告

主要作者及机构信息

本文的研究由以下主要作者完成：Yong Liu, Guo Qin, Xiangdong Huang, Jianmin Wang 和 Mingsheng Long，他们分别隶属于清华大学软件学院和BNRist（北京国家研究中心）。该研究的相关邮箱为{liuyong21, qinguo24}@mails.tsinghua.edu.cn，以及{huangxdong, jimwang, mingsheng}@tsinghua.edu.cn。研究工作发表于“38th Conference on Neural Information Processing Systems (NeurIPS 2024)”，并在文末提供了代码开源地址（https://github.com/thuml/autotimes）。

研究背景

该研究主要聚焦于时间序列（Time Series）领域，并结合近年来蓬勃发展的大型语言模型（Large Language Models, LLM）的技术。当前主流的时间序列基础模型（Foundation Models）尚未完全发展，原因在于：1）大规模时间序列数据集的有限可得性；2）大规模预训练技术在时间序列领域的尚未深入探索。

时间序列与自然语言在序列建模和生成方面具有显著的相似性。例如，自然语言依赖于上下文的顺序生成，同样时间序列需要基于过去的记录进行未来预测。因此，研究者提出了一种新的方法，称为AutoTimes，它通过结合LLM的通用多步生成能力，将LLM重新定义为支持长短不同时间序列预测的自回归模型。这种方法从理论上与现有的时间序列预测方式存在显著差异，同时具有多步预测、零样本泛化、上下文学习（In-Context Learning）等特性。

研究的目标是提出一种高效灵活的时间序列预测方法，并克服现有LLM4TS（大语言模型在时间序列中的应用）方法中存在的问题，例如对LLM能力的不充分利用和模型架构与任务间的不一致性。通过“重新激活”LLM的通用能力，AutoTimes可灵活地处理任意长度的预测任务。

研究方法

本研究从方法论上包含重要创新，分以下几个步骤展示其方法论与实施：

1. 时间序列模式的嵌套和对齐（Modality Alignment）： AutoTimes通过独立嵌入时间序列片段到LLM的语言模型空间，实现时间序列与LLM之间的对齐。具体而言，该研究提出了“时间序列片段”（Time Series Token）的概念，将连续非重叠的时间片段视为一种语言模型的“独立Token”。此做法极大地减少了回归预测时的计算复杂度。

时间戳（Timestamp）作为时间序列的核心特征之一，在传统方法中常常作为附加的数值嵌入。然而，研究发现将时间戳转换为语言模型中嵌入的文本时间戳（Textual Timestamp）可以显著提升模型性能，并实现多个变量间事件序列的精准对齐。

1. 一致的自回归建模（Consistent Autoregressive Modeling）: AutoTimes在保留LLM自回归特性基础上，提出了一种简化的嵌入和投影方案，结合多层感知机（MLP）建立段嵌入（Segment Embedding）和段投影（Segment Projection）。这种方法通过冻结LLM的参数，降低了训练成本。研究进一步确保了模型在不同长度输入和任意预测长度下的通用性，而无需分别训练多个模型。

2. 上下文预测（In-Context Forecasting）: AutoTimes提出了一种时间序列自提示（Self-Prompting）方法，允许时间序列本身作为预测任务的提示（Prompt）。通过引入目标域的数据提示，AutoTimes突破了仅借助历史观测窗口进行预测的传统框架。具体而言，目标域的时间序列示例被添加到模型输入中，从而通过扩展上下文信息实现更准确的预测。

3. 多步预测和数据分析方法： 本研究将大语言模型的通用性扩展至多步预测任务，同时结合MSE（均方误差）及特定任务评估指标对模型的预测精度进行分析。通过冻结LLM网络中间层，仅训练少量参数（占比不超过0.1%），有效降低模型复杂度。

研究结果

在多个时间序列数据集上的实验结果证实，AutoTimes的预测精度明显优于当前主流的时间序列预测方法。以下为实验中的主要成果：

1. 短期与长期预测：

   • 在M4比赛数据集的短期预测中，AutoTimes在所有误差指标如SMAPE、MASE、OWA上均有领先表现。
   • 在长期预测实验中，AutoTimes通过滚动预测方法，在80%的情况下超越现有的LLM4TS方法和深度学习预测方法，尤其在复杂长序列（如Traffic、Weather）预测中表现突出。

2. 零样本泛化（Zero-Shot Generalization）： AutoTimes在M3→M4以及M4→M3零样本泛化任务中，显著优于基线模型，如DLinear、PatchTST、FPT等。研究显示，LLM对序列任务的泛化能力主要来源于其自回归结构，同时预训练知识的转移在这一任务中尤为重要。

3. 上下文提示效果： 引入目标域时间序列提示后，AutoTimes在M3数据集上的预测误差（SMAPE）平均降低了13.3%。这说明上下文提示能够有效增强LLM在新域数据上的表现。

4. 效率分析： AutoTimes在设定LLM冻结的情况下，训练和推理时间较现有LLM4TS方法如FPT和TimeLLM减少了约5倍，且计算开销与参数需求显著减少。

研究结论与重要意义

AutoTimes显著提升了时间序列预测领域的效率与准确性，其主要意义如下：

1. 科学价值： AutoTimes首次系统性地将大语言模型的自回归能力引入到时间序列领域，为该领域基础模型的构建提供了新的方向。同时，在多步预测、零样本泛化、上下文学习等特性上展现了较大潜力。

2. 应用价值： AutoTimes可广泛应用于气候预测、经济分析、能源管理等领域，尤其是处理复杂多变量、多步长时间序列的预测任务。

研究亮点与创新性

1. 创新提出了时间序列作为自定义提示（In-Context Time Series Prompting），突破传统方法仅依赖语言提示的局限性。
2. 通过冻结语言模型大部分参数，结合部分新训练模块实现低成本高精度预测。
3. 对LLM自回归特性的充分利用，定义了时间序列片段与语言Token的有效映射关系，优化了时间序列建模流程。

研究展望

未来研究将进一步结合低秩自适应技术（LoRA），对时间序列未来外推的能力进行微调。同时，研究团队计划探索更大型的语言模型（如GPT-4）在时间序列预测中的潜在能力，并进一步扩展至包含多模态数据的时间序列预测任务。