Comprehensive Report for the Research Study “Tiny Time Mixers (TTMs): Fast Pre-Trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series”
一、研究背景及发表信息
本文研究主要由 Vijay Ekambaram、Arindam Jati、Pankaj Dayama、Sumanta Mukherjee、Nam H. Nguyen、Wesley M. Gifford、Chandra Reddy 和 Jayant Kalagnanam 等人完成，作者均隶属于 IBM Research。本研究已被接收发表在 Neural Information Processing Systems (NeurIPS) 2024 第38届会议上，并于 2024年1月8日上传到 arXiv 预印本平台。
二、研究背景与目的
多变量时间序列（Multivariate Time Series, TS）预测是通过历史时间序列数据来预测未来多个相关变量的值。这项技术在多个领域（如天气预测、交通流量预测、零售业以及能源行业）中有着重要应用。然而，尽管基于大规模预训练模型的技术（如自然语言处理和视觉领域）在零样本（Zero-shot）和少样本（Few-shot）学习中取得显著突破，其在多变量时间序列领域的应用仍面临如下挑战： 1. 数据特征差异性导致预训练模型难以泛化； 2. 现有方法在跨信道（Cross-channel）和外源变量（Exogenous Variables）相关性建模上存在不足； 3. 大规模模型的高计算资源需求往往限制了这些模型在资源紧张场景下的广泛部署。
研究目的是设计一种“小型”预训练模型，能够以较低的计算成本实现零样本和少样本预测，并克服现有模型在跨信道相关性建模和易用性方面的限制。
三、研究方法与流程
研究流程包括模型设计、预训练、微调与实验评估等多个阶段，突出强调了模型设计中的创新模块：
模型架构设计
- 本文提出了一种新的模型“Tiny Time Mixers (TTM)”，基于轻量级 TSMixer 架构（MLP-Mixer 为基础的时间序列预测模型）。模型引入以下关键创新点：
- Adaptive Patching (AP): 适应性分片策略，通过在不同层次采用不同分片长度和分片数来增强模型对多分辨率数据的泛化能力；
- Diverse Resolution Sampling (DRS): 针对训练数据分辨率有限的问题，通过下采样策略生成不同分辨率的数据，提升模型泛化表现；
- Resolution Prefix Tuning (RPT): 通过添加分辨率前缀嵌入，进行基于分辨率的条件建模。
多层级建模
- TTM 采用两级架构：骨干网络（Backbone，用于基于时间的特征提取）和解码头（Decoder，用于细化预测及混合信道和外源信号）。
- 在微调阶段，解码器可以通过启用信道混合（Channel Mixing）显式建模目标变量间及外源变量的跨信道相关性。
数据预处理与预训练
- 使用来自 Monash 和 LibCity 数据库的 ∼10 亿公共多变量时间序列样本（每个样本表示一个时间窗口和预测窗口）。
- 时间序列数据被标准化成零均值和单位方差后分片，再被输入 TTM 模型进行训练。
- 设定预测目标为直接预测未来值，并采用均方误差（MSE）作为损失函数优化模型。
微调阶段
- 根据需求支持零样本预测、少样本预测（仅用 5%-10% 目标数据训练）以及全样本训练。
- 在少样本和全样本训练中，仅微调解码头，冻结骨干网络，既提升训练效率，又确保模型能快速适应目标数据域。
数据分析流程
- 使用多种数据分辨率采样模块，验证模型在不同分辨率时间序列数据上的性能。一些模型变体的参数数量分别为 1M 至 5M。
四、主要研究结果
模型性能
- 在七个广泛使用的时间序列数据集（如 ETTH1、ETTM1、Weather、Electricity 和 Traffic）上的评估表明，TTM 在零样本预测下显著超越了现有大规模预训练模型（如 TimesFM、Moirai 和 GPT4TS）。TTM-Advanced 在精度上领先19%，模型大小则小40倍。
- 与 Chronos 和 Lag-llama 等模型相比，TTM 提供了32%-40%的预测精度提升，同时减少了近 142 倍的模型大小。
适用性和计算需求
- TTM 可以使用单显卡甚至仅 CPU 执行推理。在实验过程中，TTM 模型运行时间显著短于其他大规模模型。例如，TTM 模型的每批推理时间仅为 4.7 毫秒，而 Chronos 等模型达到200倍以上的时间成本。
少样本性能分析
- 在少样本预测任务中（5%数据训练），TTM 凭借轻量级解码头的设计实现快速优化，领先于多种少样本训练的基准模型，包括 GPT4TS 和 Time-LLM。
跨信道和外源变量建模
- 在包含外源变量的四个数据集（如 Bike Sharing 和 Carbon Capture Plant）上，TTM 的解码头在信道混合与外源建模上，表现出高效性和适用性，相比基线模型提高精度15%-44%。
五、结论与研究价值
TTM 是第一个证明“微小型”预训练模型能够成功应对多变量时间序列预测挑战的研究。模型的亮点包括： - 创新的轻量级建模方法，使得模型不仅高效，还适用于资源受限的环境。 - 出色的泛化能力，即使在多分辨率和数据多样性显著的任务中也表现优异。 - 显著降低了复杂计算设备的需求，将复杂的时间序列预测扩展到低成本应用场景。
除了科学价值以外，模型的便携性和低计算需求还具有强大的应用潜力，包括智慧城市计划中的动态供电管理和运输物流优化问题。
六、研究亮点与创新
- 提出并验证了适应性分片（AP）、多分辨率采样（DRS）和分辨率前缀调优（RPT）的有效性。
- 通过精细的解码头设计，使得 TTM 能够在轻量化模型中集成跨信道混合与外源变量注入能力。
- 开创性地证明了“小型”预训练模型可实现接近甚至超越“巨型”模型（如 LLMS 和 Transformer）的预测性能，与大规模预训练模型相比具有巨大计算和部署优势。
TTM 提出了一种科学与工程性兼备的解决方案，大幅降低了多变量时间序列预测的门槛，并为未来的深入研究和下游应用铺平了道路。