This is a long and detailed academic paper that introduces a new research study focused on a machine learning architecture designed for time series forecasting. Given the content presented, the following is a formal academic report tailored for Chinese audiences:
本文内容出自 《TimeKAN: KAN-based Frequency Decomposition Learning Architecture for Long-Term Time Series Forecasting》,并发表为 ICLR 2025 会议论文。其主要作者为 Songtao Huang、Zhen Zhao、Can Li 和 Lei Bai。这些作者分别来自 Shanghai AI Laboratory、Lanzhou University 和 Tongji University 的研究机构。
本研究聚焦于时间序列预测(Time Series Forecasting, TSF),即通过历史数据预测未来序列的任务。时间序列预测被广泛应用于金融、能源管理、交通流量规划和天气预测等领域。然而,现实世界的时间序列往往由多种频率成分交织而成,这导致其特征复杂性和非平稳性,给准确预测带来较大挑战。以往研究提出通过将时间序列分解为更简单的子成分(如季节性与趋势性)来解决此问题,但现有方法在某些方面仍存在不足。
本文作者受 Kolmogorov-Arnold Network(KAN)灵活性和数据拟合能力的启发,设计了一种新型基于 KAN 的多频分解学习架构——TimeKAN,以应对复杂的频率混合问题,包括长短期时间序列的建模。这一研究的目标是利用分解、学习、多频混合的复合方法,通过精确建模各个频率段中的时间特征模式,实现高效、轻量级的时间序列预测。
TimeKAN 提出了一个完整的新型学习框架,由以下三个主要模块组成: 1. 级联频率分解(Cascaded Frequency Decomposition, CFD)模块。 2. 多阶 KAN 表征学习(Multi-Order KAN Representation Learning, M-KAN)模块。 3. 频率混合(Frequency Mixing)模块。
以下对它们的架构、流程和设计方法做详细说明。
研究从原始多变量时间序列 $\mathbf{x} \in \mathbb{R}^{n×t}$(其中 $n$ 为变量维度,$t$ 为回溯时间窗口)出发,采用以下步骤预处理序列: - 分解序列中的高频分量:通过移动平均(Moving Average)逐层递归去除高频信息,生成多级序列 ${\mathbf{x}_1, \mathbf{x}_2, … , \mathbf{x}_k}$。 - 线性投射到高维嵌入:每一级频率子序列被投射为高维特征表示,嵌入向量 $\mathbf{x} \in \mathbb{R}^{t/d \times d}$ 用来表示时域和频域特征。
对于频段的级联分解,采用快速傅里叶变换(Fast Fourier Transform, FFT)将较低频率部分上采样至初始序列重构长度,随后通过与高频子序列求差计算得到每个频段的表示。
这一模块致力于学习分解频段中的独特时间特征。KAN(Kolmogorov-Arnold Network)在近年来因其强大的数据拟合能力受到关注,其核心通过一种灵活的激活函数替代传统的多层感知机(MLP),以自适应方式对序列结构进行表征。 - KAN 的公式基础:KAN 利用 Kolmogorov-Arnold 表示定理,通过单变量函数和加法操作组合实现函数近似。作者摒弃高复杂度的 B-Spline 函数,转而使用切比雪夫多项式(Chebyshev Polynomial),以构造更加高效的模型。 - 递增多阶建模能力:针对时间序列不同频率成分复杂度不同的问题,TimeKAN 针对低频、复杂频率依次提高切比雪夫基多项式的阶次,以实现逐级增强的特征表示能力。
作者进一步提出了多阶多路的 KAN 学习方法,用以捕捉每个频段的时间动态信息与固定周期特性。此外,通过深度可分卷积(Depthwise Convolution)与切比雪夫KAN模块的结合,模型能够高效捕获时间序列的局部动态依赖以及全局映射学习。
在对多频段进行特征提取后,TimeKAN 的最后一步是重组各频段的频率信息,将其转化为原始的时域序列格式,使整个分解、学习、混合流程可重复利用。具体通过反傅里叶变换(IFFT)从频域逐层恢复原始序列,并结合各频率成分的线性特征表示模块完成最终预测映射。
研究通过在多个真实数据集上进行实验,验证 TimeKAN 在长序列时间预测任务中的表现,这些数据包括: - Weather 数据集; - 四个 ETT 数据集(ETTh1, ETTh2, ETTm1, ETTm2); - Electricity 数据集。
实验基线与设定:本文与 11 个基线模型对比,其中包括 Transformer 系列(如 PatchTST, Autoformer),MLP 系列(DLinear, TimeMixer),以及频域分解类模型(FRETS, FILM)。测试指标为均方误差(MSE)与平均绝对误差(MAE),并采用标准化数据长度 ($t=96, f=96$) 测试不同目标预测窗口表现。
主要结果:
消融实验:
TimeKAN 为长时间序列预测问题提供了一种高效的轻量级架构。其通过多频解耦的分解学习混合流程,能合理处理复杂多频成分交织的实际问题,并大幅降低计算资源要求。该架构的科学与实际应用价值主要体现在以下几点: 1. 科学价值:通过量化建模频率特征,深入挖掘时间序列中的动态关联,提升序列可解释水平。 2. 应用价值:TimeKAN 可广泛应用于天气预报、交通流规划、金融分析等实际场景,并适用于低计算资源场合。
尽管 TimeKAN 在综合性能上具有优势,但其在特定场景(如高维度数据集)的表现仍有提升空间。未来可以探索: 1. 增强互变量建模能力; 2. 优化模型对大规模数据集的适应性; 3. 结合生成式模型进一步扩展频域动态分析能力。
通过进一步发展,TimeKAN 有潜力成为时间序列预测领域的基石模型之一。