当前位置:

首页 > 硬件相关 > 强化学习之父、年近七旬的Richard Sutton宣布创业,向LLM范式宣战

强化学习之父、年近七旬的Richard Sutton宣布创业,向LLM范式宣战

强化学习之父RichardSutton宣布创立OakLab,旨在打造能从自身经验持续学习、实时进化的AI系统,挑战当前大语言模型范式。他认为LLM依赖人类数据而非经验,真正的智能需通过试错产生新发现。OaK架构基于选项与知识,但面临灾难性遗忘等技术瓶颈。

本文目录

    今天,AI圈发生了一件大事。被称为“强化学习之父”的Richard Sutton,在社交平台X上突然宣布,他与合作者Khurram Ja ved已经离开了传奇游戏&开发者John Carmack创办的AI公司Keen Technologies,共同创立了一家名为Oak Lab的新公司。这家注册在加拿大的初创企业,目标非常明确:打造一种完全不同于当前大语言模型(LLM)的AI系统——一个能够从自身经验中持续学习、实时进化的智能体。

    在宣布消息的帖子里,Sutton对Carmack和Keen Technologies表达了敬意,但同时也明确表示,Oak Lab将走一条完全不同的路。他写道,当前的深度学习方法存在根本性的不足,需要的不是修补,而是全新理念的重构。


    (来源:X)

    现年68岁的Richard Sutton,履历堪称传奇。他是加拿大阿尔伯塔大学计算机科学教授,在斯坦福大学获得本科学位后,于马萨诸塞大学阿默斯特分校师从Andrew Barto完成博士学业。他是时序差分学习的提出者,与Barto合著的《强化学习导论》至今仍是该领域最具影响力的教材。2025年,两人共同获得ACM图灵奖,表彰他们在强化学习概念和算法基础方面的开创性贡献。此外,AlphaGo的缔造者Da vid Silver、强化学习领域重要学者Doina Precup等人,都是他的学生。

    为什么不走LLM路线?

    Oak Lab的创立动机,与Sutton在2019年发表的那篇著名文章——《苦涩的教训》(The Bitter Lesson)有着深度关联。

    在这篇短文中,Sutton回顾了AI研究70年的历史,提出了一个核心观察:那些试图将人类领域知识内嵌到系统中的方法,最终总会被依赖大规模计算的通用方法所超越。从计算机象棋、语音识别到计算机视觉,这条规律反复上演。真正有效的方法是搜索和学习。这两种方法有一个共同点:它们能够随计算规模无限扩展。

    这篇文章在AI界引发了持久讨论,许多从业者甚至将其视为支持大语言模型规模化路线的理论依据。然而,Sutton本人并不认同这种解读。在2025年9月接受播客主持人Dwarkesh Patel的访谈时,他直言当前的大语言模型并没有真正践行《苦涩的教训》的精神。他的核心论点是:大语言模型的学习来源是训练数据,而不是经验。将海量的人类文本灌入模型,本质上仍然是一种依赖人类知识的路径,与他所批评的将领域知识手工编入系统的做法并无本质区别,只是规模更大。


    图|Sutton 接受Dwarkesh Patel 访谈 (来源:Youtube)

    Sutton进一步指出,大语言模型擅长模仿人类的表达,但它们并不具备在运行过程中持续学习的能力。一个训练完成的模型在部署之后就停止了学习,无法从与用户的交互中获取真正的新知识,也无法评估自身输出的正确性。在他看来,真正的智能必须具备通过试错产生新发现的能力。就像AlphaZero不再依赖人类棋谱、而是通过数百万局自我对弈发明了全新的下法那样。

    2026年5月,Sutton在麻省理工学院发表Dertouzos杰出讲座时,更是直接地表示,作为一个庞大产业,AI在一定程度上已经偏离了方向。

    OaK架构:从经验中生长出智能

    Oak Lab的技术核心,是Sutton提出的OaK架构,全称为Options and Knowledge(选项与知识)。这个名字源自他与阿尔伯塔大学同事共同制定的长期研究路线图“阿尔伯塔计划”。

    OaK的设计建立在三条原则之上:智能体必须是通用的,启动时不预设任何特定领域知识;所有知识都必须来自经验,通过与环境的交互获取;学习的驱动力是强化学习中的累积奖励最大化。

    在技术层面,OaK围绕两个核心概念展开。“选项”(Options)是在时间上有所延伸的行为策略,它不是简单的下一步动作,而是一整套行为序列及其终止条件。“知识”(Knowledge)则是智能体在执行不同选项过程中对世界的理解。智能体在运行过程中不断创建新的选项、积累关于这些选项的知识,并利用内部构建的世界模型来预测行为的长期后果。

    这套机制形成一个自我强化的循环:从经验中提取特征,将有用的特征抽象为更高层次的表示,再用这些表示去构建更复杂的规划能力。这个过程是开放式的,理论上只受限于可用的计算资源。

    但Sutton也坦率地承认了技术瓶颈。当前深度学习系统在持续学习中面临两个根深蒂固的难题:一个是灾难性遗忘,新学到的信息会覆盖已有知识;另一个是可塑性丧失,系统在学习一段时间后逐渐失去继续学习新事物的能力。他在多个场合表示,尚未解决这些核心问题,这也是他还无法展示大规模OaK系统实例的原因。他在MIT的讲座上坦言,这仍然是一个愿景,但他相信这个愿景是可以实现的。

    强化学习阵营的集结

    Oak Lab的创立其实也有一定的铺垫。此前,Sutton的学生,被称为“AlphaGo之父”的Da vid Silver也已离开DeepMind,于2025年底创立了Ineffable Intelligence,并在2026年4月获得了11亿美元种子轮融资,估值高达51亿美元。


    图|Da vid Silver(来源:Google Deepmind)

    Ineffable的路线与Oak Lab类似,同样押注强化学习,同样认为AI必须摆脱对人类数据的依赖,从自身经验中发现知识。而Sutton和Ja ved此前所在的Keen Technologies也是一家信奉强化学习路线的公司。师生三方几乎同时在这一方向上发力,共同向当前主流范式发起挑战。

    当然,这一立场也存在着一定的争议。批评者指出,强化学习在围棋、国际象棋等有明确胜负规则的封闭领域取得了出色成果,但在开放式的现实世界环境中,奖励信号往往模糊不清,纯粹的强化学习面临巨大挑战。此外,当前AI在推理和数学方面的许多进步,恰恰来自将强化学习与大语言模型相结合的方法。两条路线是否必须对立,仍是一个开放问题。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 强化学习
    相关文章 更多
    ICML 2026:从输入输出样例中自动生成程序——强化学习为大模型Programming-By-Example任务提供推理过程监督
    ICML 2026:从输入输出样例中自动生成程序——强化学习为大模型Programming-By-Example任务提供推理过程监督

    针对编程示例任务中缺乏过程监督的问题,提出PRM-PBE框架,通过反馈引导构建推理树生成过程监督数据,训练过程奖励模型评估中间推理步骤,并采用三阶段课程学习与PPO优化。在多个基准上,以DeepSeek-Coder-V2为基础模型,Pass@1提升至56.61%,显著优于现有方法。

    最大规模OTA!世界模型×强化学习,地平线HSD V2.0重构端到端上限
    最大规模OTA!世界模型×强化学习,地平线HSD V2.0重构端到端上限

    6月29日,地平线正式推出了全场景辅助驾驶系统HSD V2.0版本。这不仅是HSD发布以来最大规模的OTA升级,更是一次从底层能力到用户体验的全方位进化——横跨6大维度,带来18项新增功能和25项体验优化。核心能力总结起来就八个字:“任意点到点,全维防碰撞”。可以说,这为一段式端到端系统持续进化,树

    HSD V2.0迭代升级:以世界模型与强化学习开启智驾自主进化新篇
    HSD V2.0迭代升级:以世界模型与强化学习开启智驾自主进化新篇

    地平线HSDV2.0将端到端强化学习与世界模型深度整合,实现智驾从被动响应到主动预判的跨越。扩展OCC技术至AEB、AES等场景,统一底座模型精准识别各类障碍物。环境响应时延较行业均值快34%,77%用户主动选择该系统,智驾里程占比近50%,系统具备自主进化能力。

    奇瑞 iCAR V27 开启地平线 HSD V2.0 版本推送:主打世界模型 + 强化学习 号称“最大规模 OTA”
    奇瑞 iCAR V27 开启地平线 HSD V2.0 版本推送:主打世界模型 + 强化学习 号称“最大规模 OTA”

    奇瑞iCARV27推送地平线HSDV2.0OTA升级,新增点对点智驾、全场景主动避险及高效泊车功能,征程6P芯片效率提升,支持AI定制SR皮肤。数据显示,77%用户选择HSD版本,智驾使用率达85.14%。

    强化学习之父预测,2030年诞生类人通用AI概率为25%
    强化学习之父预测,2030年诞生类人通用AI概率为25%

    2024年图灵奖得主萨顿预测,2030年出现人类水平通用人工智能的概率为25%,届时仅需约1000美元即可获得人脑级算力。他呼吁回归智能本质研究,强调强化学习需通过实时交互实现长期收益最大化,而非依赖静态数据。

    马斯克预告下周将推Grok 4.6模型,改进AI监督微调和强化学习
    马斯克预告下周将推Grok 4.6模型,改进AI监督微调和强化学习

    马斯克在SpaceX财报电话会上宣布,下周将发布Grok4.6模型,总参数量1.5万亿,重点优化监督微调与强化学习;同时预告未来3-4周推出Grok4.7模型,参数规模2.1万亿,综合性能更优。

    CMake 官方资源页强化学习路径,构建系统培训需求持续增长
    CMake 官方资源页强化学习路径,构建系统培训需求持续增长

    CMake已成为现代C++工程基础设施,官方完善了学习资源,提供从入门到精通的系统化路径。Kitware提供培训和高级支持,针对构建系统迁移、优化及企业流程规范。学习资料应分层,结合工具使用、工程规范与CI流程,以发挥CMake价值。

    紧张的日程中,“强化学习之父”萨顿为何愿意在沪和63名高中生对谈?
    紧张的日程中,“强化学习之父”萨顿为何愿意在沪和63名高中生对谈?

    先说个有意思的场景:7月23日下午2点,上海创智学院102多功能厅外,63位少年早已坐得笔直,眼神里满是期待和兴奋。当一位穿着花衬衫的熟悉身影出现在门口时,掌声毫无预兆地炸开了。 来的是理查德·萨顿——“强化学习之父”,2024年图灵奖得主。刚刚结束2026年世界人工智能大会的紧张日程,他把半小时的

    均普智能联合博登、上海交大发布面向真实机器人强化学习的大规模数据集
    均普智能联合博登、上海交大发布面向真实机器人强化学习的大规模数据集

    新京报贝壳财经讯 6月15日,均普智能放了个大招——旗下宁波具身智能机器人创新中心、博登智能和上海交通大学MINT实验室联手,正式开源了全球首个面向真实机器人强化学习(RW-RL)的大规模数据集RW-RL-Dataset首批数据。这事儿在圈内引起了不小的关注。 这个数据集打破了传统机器人数据只记录“

    浙大突破:强化学习实现AI长对话记忆保持与逻辑连贯能力提升
    浙大突破:强化学习实现AI长对话记忆保持与逻辑连贯能力提升

    浙江大学联合HomologyAI提出情境信念管理(CBM)概念,设计BeliefTrack测评系统,发现顶尖AI模型在长对话中信念管理失败率高达20%以上。通过强化学习训练,模型证据追踪能力大幅提升,失败率降至0%且可迁移至未见场景,同时不影响通用能力。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。