当前位置:

首页 > 业界资讯 > 谷歌的2亿参数时序模型被批评为「犯了新手错误」,是否可替代LLM?

谷歌的2亿参数时序模型被批评为「犯了新手错误」,是否可替代LLM?

照箭画靶,跑分自设标准?最近,谷歌的一篇论文在X等社交媒体平台上引发了一些争议。这篇论文的标题是「Adecoder-onlyfoundationmodelfortime-seriesforecasting(用于时间序列预测的仅解码器基础模型)」。简而言之,时间序列预测就是通过分析历史数据的变化趋势和模式,来预测未来的数据变化。这类技术在气象预报、交通流量预测、商业销售等领域有着广泛的应用。例如,在零售业中,提高需求预测的准确性可以有效降低库存成本并增加收入。近年来,深度学习模型已成为预测丰富的多变量时间序

照箭画靶,跑分自设标准?

最近,谷歌的一篇论文在 X 等社交媒体平台上引发了一些争议。

这篇论文的标题是「A decoder-only foundation model for time-series forecasting(用于时间序列预测的仅解码器基础模型)」。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
简而言之,时间序列预测就是通过分析历史数据的变化趋势和模式,来预测未来的数据变化。这类技术在气象预报、交通流量预测、商业销售等领域有着广泛的应用。例如,在零售业中,提高需求预测的准确性可以有效降低库存成本并增加收入。

近年来,深度学习模型已成为预测丰富的多变量时间序列数据的流行方法,因为它们已被证明在各种环境中表现出色。

但是,这些模型也面临一些挑战:大多数深度学习架构需要漫长而复杂的训练和验证周期,急需一个开箱即用的基础模型来缩短这一周期。

谷歌的新论文就是为了解决这一问题而诞生的。在论文中,他们提出了一个用于时间序列预测的仅解码器基础模型 ——TimesFM。这是一个在 1000 亿个真实世界时间点的大型时间序列语料库上预训练的单一预测模型。与最新的大型语言模型相比,TimesFM 要小得多(仅 200M 参数)。但他们发现,即使在这样的规模下,它在不同领域和时间粒度的各种未见数据集上的零样本性能也接近于在这些数据集上显式训练的 SOTA 监督方法。

这个想法看起来很有前景,有人评价说,「TimesFM 证明了预训练大型时间序列语料库的力量。它在各种公开的基准测试中展示的零样本性能真的令人称奇」。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
但也有人对其采用的评估方法和基准产生了质疑,毕业于伦敦大学皇家霍洛威学院的 Valery Manokhin 博士指出,论文作者犯了一些「新手错误」,还采用了一些「欺骗性」的基准。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
事情到底是怎么回事?我们先来看看谷歌的这篇论文写了什么。

被质疑的论文写了什么?

上周五,谷歌 AI 专门用博客介绍了这一研究。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
我们目前常见的大语言模型(LLM)通常在训练时仅用解码器,过程涉及三个步骤。首先,文本被分解为称为标记的子词 ——token。然后,token 被输入到堆叠的因果 transformer 层中,这些层会生成与每个输入 token 相对应的输出。最后,第 i 个 token 对应的输出总结了之前 token 的所有信息并预测第 (i+1) 个 token。

在推理过程中,LLM 一次生成一个 token 的输出。例如,当提示「What is the capital of France?」时,它可能会生成 token「The」,然后以「What is the capital of France? The」为条件。生成下一个标记「capital」,依此类推,直到生成完整的答案:「The capital of France is Paris」。

谷歌认为,时间序列预测的基础模型可以适应可变的上下文(我们观察到的内容)和范围(我们查询模型预测的内容)长度,同时具有足够的能力对大型预训练数据集中的所有模式进行编码。

与 LLM 类似,我们可以使用堆叠 transformer 层(自注意力层和前馈层)作为 TimesFM 模型的主要构建块。在时间序列预测的背景下,将 patch(一组连续的时间点)视为最近长期预测工作的 token。随后,任务是根据堆叠 transformer 层末尾的第 i 个输出来预测第 (i+1) 个时间点 patch。

在论文《A decoder-only foundation model for time-series forecasting》中,谷歌研究人员尝试设计了一个时间序列基础模型,在零样本(zero-shot)任务上取得了不错的效果:
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
论文链接:https://arxiv.org/abs/2310.10688

该研究中,研究者设计了一种用于预测的时间序列基础模型 TimesFM,其在各种公共数据集上的 zero-shot 能力都接近于目前业内的顶尖水平。此模型是一种在包含真实世界和合成数据的大型时间序列语料库上进行预训练的,修补解码器式注意力模型,参数只有两亿。

谷歌表示,对于首次遇见的各种预测数据集进行的实验表明,该模型可以在不同领域、预测范围和时间粒度上产生准确的零样本预测。

时间序列的基础模型可以大幅减少训练数据和计算需求,为应用端带来很多好处。不过,时间序列推理的基础模型是否是一种可行的思路,人们还未有定论,首先与 NLP 不同,时间序列没有明确定义的词汇或语法。此外,新模型需要支持具有不同历史长度(上下文)、预测长度(范围)和时间粒度的预测。此外,与用于预训练语言模型的大量公共文本数据不同,大型时间序列数据集并不容易构建。

谷歌表示,尽管存在这些问题,他们还是提供了证据来肯定地回答上述问题。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
图 1:训练过程中的模型架构。其中显示了可以分解为输入补丁的特定长度的输入时间序列。

它与常规的语言模型有几个关键的区别。首先,我们需要一个具有残差连接的多层感知器块,将时间序列 patch 转换为可以与位置编码(PE)一起输入到 Transformer 层的 token。为此,谷歌使用了与他们之前的长期预测工作类似的残差块。其次,在另一端,来自堆叠 Transformer 的输出 token 可用于预测比输入 patch 长度更长的后续时间点的长度,即输出 patch 长度可以大于输入 patch 长度。

谷歌研究者认为,即使基线针对每个特定任务进行了专门训练或调整,TimesFM 的单个预训练模型也可以在基准测试中接近或超过基线模型的性能。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
图 2:新方法与常规方法在三组数据集上的平均性能对比,指标越低越好。谷歌表示,在基线测试中,只有 TimesFM 和 llmtime 是零样本。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
图 6:在 Darts 和 Monash 数据集上的推理可视化。右侧的图放大了左侧的预测部分。

看起来,从背景到思路,方法到测试的一套流程都已走完,事情就顺理成章了,谷歌还计划在今年内通过 Google Cloud Vertex AI 向外部客户提供此模型。

哪知道论文竟引起了争议。

Valery Manokhin 提出了哪些质疑?  

对论文评估方法和所选基准提出质疑的是机器学习博士 Valery Manokhin。他的研究领域包括概率预测、符合预测、机器学习、深度学习、人工神经网络、人工智能和数据挖掘等。

他指出,首先,论文中使用图表(特别是图 6)以视觉方式展示模型性能是一个初学者的错误。Christoph Bergmeir 和 Hansika Hewamalage 在其教程《数据科学家的预测评估:常见陷阱和最佳实践(Forecast Evaluation for Data Scientists: Common Pitfalls and Best Practices)》中明确指出,生成预测的视觉吸引力或其可能性不是评价预测的好标准。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
接下来,Valery Manokhin 提到,谷歌的作者使用了一种标准策略来美化他们的「基础模型」性能,即选择那些可以被传统模型非常容易且几乎完美地拟合的经典数据集(如非常老的航空乘客数据)。而且,谷歌的作者没有选择传统模型作为基准进行比较,而是选择了另一个表现不佳的模型(llmtime)作为对照。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
针对 Valery 提出的质疑,谷歌研究院的 Rajat Sen(论文作者之一)在帖子下面给出了回应。首先,他指出,批评者仅关注了论文中一个关于航空乘客数据集的示例,并错误地认为这是他们唯一展示的性能数据。作者澄清说他们实际上在多个数据集(Monash、Darts 和 ETT)上报告了模型的性能。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
而且,作者强调,他们并没有通过视觉方式来评估模型性能。图 6 仅仅是为了示例目的,而综合性能是在图 2 中报告的。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
作者明确指出,他们没有选择性挑选结果来美化模型性能。在图 2 中,他们公正地展示了一些监督学习模型可能比他们的模型表现得更好,但他们的模型是一个零样本模型,这是一个重要的优势。

但 Valery Manokhin 随后又指出,在 Monash 数据集上,谷歌的 TimesFM 落后于其他模型。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
对此,Rajat Sen 指出,Valery Manokhin 忽略了一个很重要的点:TimesFM 的表现优于 Monash 上的很多既有基线,但最重要的是,这些基线是单独在这些数据集上「训练」的,而 TimesFM 是「零样本」预测的。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
随后,二人的争论又集中到了文中的一句话上。作者在论文的引入部分写道,「在一些预测竞赛,如 M5 竞赛(M5 “Accuracy” competition)和 IARAI Traffic4cast 竞赛中,几乎所有获胜的解决方案都是基于深度神经网络的。」Valery Manokhin 认为这句话具有误导性。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
对此,Rajat Sen 表示,这不是文章的核心论点,还有进一步讨论的空间。
2亿参数时序模型替代LLM?谷歌突破性研究被批「犯新手错误」
如今,二人的争论还在 X 平台上持续更新,感兴趣的读者可以前去观战。

参考链接:https://twitter.com/rsen91/status/1754172587121524852
本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯 谷歌
相关文章 更多
苹果15plus怎么传照片到电脑 苹果15plus传照片到电脑方法
苹果15plus怎么传照片到电脑 苹果15plus传照片到电脑方法

手机早已成为中青年人的标配,不同年龄段对手机的需求其实差别不小。iPhone 15 Plus 作为当前热度颇高的机型,功能与服务覆盖得相当全面,能满足各类用户的需求。不过,有个实用问题很多人都会遇到——怎么把照片传到电脑上?今天就把两种主流方法掰开揉碎讲清楚,看完你就知道该怎么操作了。 方法一:数据

谷歌亲儿子优先升级!安卓17正式版推送:21款设备首发尝鲜
谷歌亲儿子优先升级!安卓17正式版推送:21款设备首发尝鲜

谷歌正式推送安卓17系统,首批覆盖Pixel6至10系列共21款机型。新功能包括长按应用气泡菜单、应用内存限制机制、精确/大致定位权限选择,以及遗失设备追踪的FindHub功能,进一步优化隐私与设备管理体验。

小米 MIUI不再支持自行安装谷歌GMS服务
小米 MIUI不再支持自行安装谷歌GMS服务

这几天,一些MIUI用户发现手机装不上谷歌GMS(谷歌移动服务)了。这事儿怎么说呢?小米社区里,多位认证为解答组的人员给出了统一回复:国内版MIUI出于合规原因,没有预置Google服务框架的机型,以后不再支持用户自己安装GMS服务。解答组还贴心地补了一句——如果真要用,可以去酷安搜相关教程。 受影

等了7年!Edge终于支持谷歌账号登录同步数据
等了7年!Edge终于支持谷歌账号登录同步数据

微软Edge浏览器计划于2026年7月直接支持谷歌账号登录,用户无需微软账号即可跨设备同步浏览器数据。此举为偏好Edge但不想使用微软账号的用户提供原生单点登录体验,无需再走间接路径。

小米MIXFold3如何安装谷歌 小米MIXFold3安装谷歌方法
小米MIXFold3如何安装谷歌 小米MIXFold3安装谷歌方法

小米MIXFold3未预装谷歌服务,需手动安装:先下载谷歌服务框架并开启未知来源,再安装GooglePlay商店并登录账号。但设备不支持完整GMS,部分应用可能有兼容性问题。

安卓手机忘记解锁密码怎么办?3招教你打开手机
安卓手机忘记解锁密码怎么办?3招教你打开手机

安卓手机忘记密码时,可通过三种方式解锁:一、开启USB调试后,用ADB命令删除密码文件;二、连续错误输入五次,利用绑定的谷歌账号重置;三、使用刷机软件清除锁屏密码。

提升流畅度:谷歌安卓17给App内存占用套上“紧箍咒”
提升流畅度:谷歌安卓17给App内存占用套上“紧箍咒”

安卓17引入四项重要安全改进:包括主动终止内存异常应用、新增本地网络权限防止设备扫描、强制动态加载库只读防止恶意注入、默认启用证书透明度防止伪造证书,全面提升系统安全。

接连两位大咖出走,谷歌到底出了什么BUG?
接连两位大咖出走,谷歌到底出了什么BUG?

不到一周内,谷歌两位核心人物诺姆·沙泽尔与约翰·江珀相继离职。谷歌在AIAgent领域明显落后,产品线混乱,Antigravity2.0表现差强人意。尽管评测分数领先,但任务交付能力不足,组织架构的割裂是根本原因。

存储算力日益短缺,谷歌开始探索让旧手机组队做AI服务器了
存储算力日益短缺,谷歌开始探索让旧手机组队做AI服务器了

谷歌与加州大学圣地亚哥分校利用2000台退役Pixel手机,去除电池和外壳后组成分布式服务器集群。该方案将手机主板分组联网,提供边缘计算能力,缓解算力与存储短缺,但受限于可靠性和维护成本,无法替代传统数据中心。

谷歌浏览器怎么自定义头像
谷歌浏览器怎么自定义头像

谷歌浏览器(chrome)凭借流畅的使用体验和丰富的拓展功能,成为了全球用户使用率最高的浏览器之一,不少用户会用它的多配置文件功能区分工作、生活账号,或是多人共用设备时划分使用空间,自定义头像不仅能满足个性化审美,还能快速区分不同账号,方便识别。很多新用户还不清楚具体的操作方法,接下来就分场景详细说

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。