研究报告：Chronos：用于时间序列的语言模型框架

研究作者及机构

本文发表于《Transactions on Machine Learning Research》（2024年10月），研究标题为《Chronos: Learning the Language of Time Series》。主要作者包括 Abdul Fatir Ansari、Lorenzo Stella、Caner Turkmen 等，他们分别来自 AWS AI Labs、Amazon Supply Chain Optimization Technologies、新加坡国立大学、UC San Diego、University of Freiburg、Rutgers University、UC Berkeley 和 New York University 等机构。

研究背景与目的

时间序列预测广泛应用于零售、能源、金融、医疗保健及气候科学等领域。在传统上，这一领域主要依赖统计模型，如 ARIMA 和 ETS。然而，随着大规模时间序列数据的获取及机器学习技术的发展，深度学习逐渐成为一种主流方法。这些方法适合在多样化的数据集中提取模式，能显著提升预测性能。

尽管深度学习方法在时间序列预测中表现出色，但其局限性在于通常需要专门针对特定数据集进行训练，缺乏统一的通用预测模型。同时，近年来自然语言处理（NLP）领域中的大型语言模型（LLM），如 GPT-3 和 LLaMA 2，展示了良好的零样本（zero-shot）学习能力，为时间序列预测领域开发基础模型提供了新思路。然而，现有方法常依赖复杂的微调（fine-tuning）或需要高计算资源，难以满足多数实际应用场景的需求。

鉴于此，研究团队提出了 Chronos，一种改进的时间序列语言建模框架。研究的核心目标是基于现有的语言模型架构开发一个高效的预训练概率模型，并显著降低对时间序列数据集特定调整的需求，从而实现高效的零样本预测。

研究方法与框架

研究团队开发的 Chronos 基于现有语言模型（如 t5 模型），其核心创新在于：将时间序列转化为有限词汇的“语言”，从而可以直接在语言模型中训练和应用。研究包括以下几个关键步骤和方法：

1. 时间序列的标记化机制

时间序列的连续值被离散化为固定范围内的词汇。这一过程涉及以下两步： - 缩放（Scaling）： 通过均值缩放（mean scaling）标准化不同时间序列的值域，并保持零值不变。 - 量化（Quantization）： 整个范围被分成若干离散区间（bins），区间中心点作为标记。具体而言，研究团队采用了基于均匀分布的量化方法，使得不同数据集的分布变化对模型影响较小。同时，特殊标记（如 PAD 和 EOS）用于处理时间序列的填充操作以及序列结束标识。

2. 模型架构与损失函数

Chronos 无需对语言模型架构做特殊修改，仅需调整词汇表大小以适配时间序列标记。其主要训练目标为交叉熵损失（cross-entropy loss），结合最小化分类损失实现对连续数值域的预测。此外，Chronos 使用离散化回归（regression-via-classification）的方式，将数值回归转化为分类任务。与一般的时间序列模型相比，这种方法更灵活，可适应多模态分布模式。

3. 数据增强与合成

为了弥补公共时间序列数据集不足的问题，研究团队结合真实数据与合成数据进行训练： - 时间序列混合（TSMixup）： 对多个时间序列进行采样，通过凸组合生成新的时间序列样本。 - 合成数据生成（KernelSynth）： 基于高斯过程（Gaussian Processes）人工生成时间序列数据，通过多种核函数（如线性核、周期核）组合模拟趋势和季节性等模式。

4. 模型训练与评估

研究团队基于来自不同行业的大量公开数据集及自建合成数据集进行模型训练，总训练语料包括89万条时间序列及约840亿个样本点。模型训练分为“预训练”和多任务评估阶段，分别用于校准 Chronos 的总体性能及测试其在未见任务上的表现。

研究结果与发现

研究团队对 Chronos 的评估分为域内评价（in-domain evaluation）和零样本评价（zero-shot evaluation）两部分。

域内评价成果

在域内数据集（即用于预训练的同一数据集）测试中： - 相比经典统计模型（如 ARIMA、ETS）和任务特定深度学习模型（如 PatchTST、DeepAR），Chronos 无需额外微调即可显著超越多数基线。 - 其中较大规模的 Chronos-t5（base, large）模型获得了最佳总体性能表现，尤其在概率预测指标（Weighted Quantile Loss, WQL）上展现卓越。

零样本评价成果

在27个未见数据集上进行的零样本预测显示： - Chronos 即使从未见过新数据集，其表现依然显著优于传统统计模型。 - Chronos 的零样本预测性能接近甚至优于专为特定数据集训练的深度学习基线，也超过了现有最先进的时间序列预训练模型（如 Moirai 和 ForecastPFN）。

高效模型优化能力

通过初步微调（fine-tuning）实验，Chronos 在零样本数据集上的性能得到进一步提升。此外，实验分析表明，基于高斯过程生成的合成数据能有效提升零样本任务性能，而适量训练步数及优化参数亦有助于模型表现稳定性。

研究意义与价值

Chronos 为时间序列预测研究带来了以下重要意义： 1. 科学价值： Chronos 证明了语言模型在时间序列领域的通用适用性，挑战并突破了传统时间序列建模所需的特定架构和特征。 2. 应用价值： Chronos 的零样本能力和简单的预训练流程为实际预测任务显著降低了开发和部署的门槛，大大简化了跨行业的时间序列预测系统的构建流程。

研究亮点

• 新颖标记机制： 首次系统性地将时间序列离散化成语言模型可处理的“语言”。
• 强泛化性能： Chronos 展示出卓越的零样本预测能力，尤其适合处理跨领域应用。
• 低计算需求： 相较于如 GPT-3 等大规模语言模型，Chronos 在实际计算资源上的需求相对低廉。

局限性与未来研究方向

尽管研究展示了极高的通用性，Chronos 在部分时间序列数据上的标记化机制仍存在局限性。例如： - 在极端趋势或大范围数据分布中，量化可能导致精度下降。 - 某些复杂多变量任务尚未探索（例如多维协变量建模）。

未来研究或可尝试改进标记化方法，或结合外生变量（如时间相关特征），进一步提升 Chronos 在复杂场景中的表现。此外，基于 Chronos 的时间序列表示学习能力，研究还可扩展其在分类、异常检测等其他任务的应用潜力。

总结

Chronos 提供了一种极具潜力的解决方案，将时间序列预测整合到语言模型框架中，既具方法论创新性，又具实际应用价值。它展示了非传统方法在科学领域跨界的可能性，为预测任务提供简单、高效的通用工具，推动时间序列研究的未来发展。