Google 发布 200M 参数时间序列基础模型,支持 16K 上下文
文章摘要
Google Research 发布了 TimesFM 2.5,这是一个专为时间序列预测设计的预训练基础模型。相比前一版本 TimesFM 2.0(500M 参数),2.5 版本将参数量大幅缩减 60% 至 200M,同时将上下文长度从 2048 扩展 8 倍至 16,384 个时间点,并新增了原生概率预测功能。
TimesFM 2.5 采用 decoder-only(仅解码器)架构,在包含 1000 亿个真实世界时间点的大规模语料库上进行预训练。该模型支持通过可选的 30M 参数分位数头(quantile head)进行连续分位数预测,预测范围可达 1000 步。此外,新版本还恢复了对协变量(covariates)的支持,可以纳入节假日、促销活动等外部变量进行更精准的预测。
16K 上下文长度的提升带来了显著的实用价值。在单次前向传播中,模型能够捕获多季节性结构、体制转换(regime breaks)和低频成分,无需进行分块拼接(tiling)或层次化缝合(hierarchical stitching),大幅减少了预处理的启发式规则,提升了在上下文远大于预测范围的领域(如能源负荷、零售需求)中的稳定性。
在性能基准测试方面,TimesFM 2.5 在零样本(zero-shot)设置下表现出色:在零售数据集(如汽车零部件、餐厅客流)上,相比 ARIMA 方法,平均绝对误差(MAE)降低了 15%-25%;在长周期预测(96-192 步)方面,其表现与 DeepAR、PatchTST 等需要针对特定领域训练数周的深度学习模型相当。该模型在 GIFT-Eval 零样本预测基准上取得了领先成绩。
新的模型检查点已在 Hugging Face 上公开发布,支持 PyTorch 框架,同时也已集成到 Google Cloud BigQuery 中供企业用户使用。该项目的研究论文《A decoder-only foundation model for time-series forecasting》曾在 ICML 2024 上发表。
值得注意的是,TimesFM 2.5 面临的竞争也日趋激烈:Amazon 于 2026 年 2 月发布的 Chronos-2 支持多变量预测,在部分数据集上声称优于 TimesFM 2.5;Salesforce 的 Moirai-MoE 则使用混合专家架构,以 65 倍更少的激活参数超越了 TimesFM。
HN 评论精华
-
对时间序列基础模型的根本性质疑:一位自 2018 年起从事语言模型工作的 ML 从业者表达了深层怀疑——语言中的迁移学习之所以有效,是因为语言语义可以跨上下文泛化;但时间序列模式未必具有同样的可迁移性。他表示:”我对通用单变量时间序列完全没有同样的信心,因为其底层过程可以是任意的。”这一观点引发了关于基础模型范式是否适用于时间序列领域的深度讨论。
-
分解方法的讨论:有评论者指出,模型实际上是将时间序列分解为趋势(trend)、季节性(seasonality)和残差(residuals)三个部分来建模的。这种分解方法并非新鲜事物,传统统计方法早已采用类似策略,但用基础模型的方式来学习这种分解确实是一个有趣的尝试。
-
模型可解释性和信任问题:多位评论者对模型的可解释性表达了担忧——当模型给出预测结果时,缺乏帮助用户理解预测来源的解释机制。在金融和能源等关键领域,仅凭”零样本就能预测”的承诺不足以建立足够的信任。
-
与传统方法的实际对比:有实际使用过 TimesFM 的用户分享经验,认为在结构化程度较高的时间序列(如零售销量、电力负荷)上效果确实不错,但对于高噪声、非平稳的金融时间序列,传统的 ARIMA 配合领域知识仍然更可靠。零样本能力虽然便捷,但并不能替代对数据的深入理解。