当前位置:

首页 > 硬件相关 > 翁荔再发万字长文:AI自进化,从Harness开始

翁荔再发万字长文:AI自进化,从Harness开始

前OpenAI安全研究副总裁翁荔提出,AI自我提升更可能先从优化外部Harness层开始,包括工作流、工具调用与评估机制。Harness设计模式有工作流自动化、文件系统记忆、子Agent协作等,优化方法涵盖上下文工程、进化式搜索等。未来面临评估器模糊、上下文记忆退化、奖励黑客等挑战。

本文目录

    前 OpenAI 安全研究副总裁、Thinking Machines Lab 联合创始人翁荔(Lilian Weng)又发长文了。这一次,继此前对 Scaling Law 发出谨慎信号之后,她把目光投向了一个正在快速升温的方向——Harness Engineering。


    在这篇最新的博客中,她提出了一个很有意思的判断:AI 的自我提升,未必会先从“模型自己改写自己的权重”这一步开始。更现实、更可能在近期取得突破的路径,其实是先优化模型外部的 Harness 层——也就是那些围绕模型构建的工作流、上下文管理、工具调用和评估机制。等到这些能力足够成熟,真正的自动化研究和更强模型的出现才会水到渠成。

    当然,这条路上也不是一片坦途。评估器模糊、上下文记忆退化、奖励黑客、负结果难以留存,以及人类监督如何有效嵌入等问题,仍然需要直面。

    整篇文章围绕 Harness 的设计模式、优化方法以及未来挑战展开,信息量不小。下面就直接进入正题。

    何为 Harness Engineering?

    先补一个背景。递归式自我提升(RSI)这个概念,最早可以追溯到 1965 年 I. J. Good 的设想——他定义了一台“超智能机器”,能够在所有智力活动上超越人类,并且有能力设计出更好的机器来持续改进自身。到了 2008 年,Yudkowsky 用“recursive self-improvement”这个说法,描述了一种具体的反馈回路:AI 利用自己当前的智能,去改进产生这种智能的认知机器本身。

    在现代 AI 语境里,这个反馈回路既包括模型直接改写自己的权重,也包括一种更宽泛的路径——模型改进它的训练流水线和部署系统,而系统层面的改进,又能让下一代模型在经济价值更高的任务上表现更出色。事实上,前沿实验室(比如 Anthropic、OpenAI)已经证明,这样的循环可以显著加快 AI 研发的速度。

    这里需要特别点出一个关键:部署系统。在原始模型(即预训练完成、刚刚通过评测时表现出的能力)与它所面对的真实世界上下文之间,还有一层至关重要的系统。这一层,也就是 Harness,其重要性丝毫不亚于模型本身的智能。Claude Code、Codex 这些成功的编程 Agent 产品,已经用实际表现证明了 Harness 的价值。所谓 Harness,就是围绕基础模型构建的一整套系统:它负责编排执行,决定模型怎么思考、怎么规划、怎么调用工具、怎么行动、怎么管理上下文、怎么存储产物,以及如何评估结果。

    Harness 的设计模式

    模式一:工作流自动化

    这是最直观的一种模式。把模型放在一个固定的工作流里,让它像流水线上的工人一样,按步骤完成任务。常见的做法包括:先让模型生成一个计划,再逐步执行;或者让模型在多个步骤间反复迭代,不断优化输出。这种模式的好处是稳定可控,特别适合那些流程明确、步骤可拆解的任务。

    模式二:文件系统作为持久记忆

    模型自身有上下文窗口的限制,但很多任务需要跨越较长时间或多次交互才能完成。解决方案之一,就是把文件系统当作模型的“外置大脑”。模型可以在文件里记录中间结果、保存关键信息、甚至维护一个持续更新的“笔记”。这样,即使上下文窗口满了,关键信息也不会丢失。

    模式三:子 Agent 和后台任务

    当任务变得复杂,一个模型可能忙不过来。这时候可以像团队协作一样,把任务拆解,分配给多个子 Agent。每个子 Agent 负责一个子任务,在后激进分子立运行。主 Agent 则负责调度、协调、汇总。这种模式有点像项目经理带着几个工程师干活,效率往往比一个人单打独斗高得多。

    案例研究:编码 Agent 工具

    编程 Agent 是 Harness 设计的一个典型应用。比如一个编码 Agent,它需要理解用户需求,搜索相关知识库,生成代码,运行测试,根据错误反馈修改代码,如此循环。这个过程背后,就是一个精心设计的 Harness 在运转:它管理着上下文(用户需求、历史对话)、工具调用(搜索、运行代码、读写文件)、工作流(计划-生成-测试-修改),以及结果评估(测试是否通过、代码是否符合规范)。

    Harness 层与核心智能

    一个值得思考的问题是:Harness 层的能力,到底应该算作模型智能的一部分,还是独立于模型之外?从实践来看,两者界限其实越来越模糊。好的 Harness 设计,能让一个能力一般的模型表现出远超其自身水平的性能。反过来,再强的模型,如果放在糟糕的 Harness 里,也会干出各种低级错误。

    Harness 优化

    设计好 Harness 只是第一步,更关键的是怎么持续优化它。

    上下文工程

    上下文窗口是 Harness 的心脏。怎么塞信息、塞多少、塞什么顺序、什么时候清空,都直接影响模型的表现。一些成熟的实践包括:优先级机制,把最关键的信息放在最前面;摘要机制,当上下文快满时,自动对历史信息进行压缩;分层管理,把长期记忆(比如项目背景)和短期记忆(当前步骤的细节)分开存储。

    工作流设计

    工作流不是一成不变的,好的工作流本身就应该具备自适应性。比如,在简单任务上,走最短路径快速完成;在复杂任务上,自动切换到更谨慎、多步骤的流程。甚至可以让模型自己根据任务难度,动态调整工作流策略。

    自我改进 Harness

    这算是 Harness 优化的一个进阶方向:让 Harness 系统本身也能从经验中学习。比如,记录每次任务中哪些步骤拖了后腿、哪些策略效果最好,然后用这些数据来改进 Harness 的配置和策略。这听起来有点循环递归的味道,但确实是一个可行的方向。

    进化式搜索

    Harness 中有很多超参数(比如上下文长度截断策略、工具调用频率、子 Agent 数量),这些参数的组合空间很大。进化式搜索可以把 Harness 配置当作一个基因组,然后通过变异、交叉、选择,自动找到最优配置。这比手动调参高效得多。

    基于模型权重的联合优化

    更激进的做法是,把 Harness 的优化和模型本身(权重)的优化联合起来。比如,通过强化学习,同时调整模型生成策略和 Harness 的工作流参数,让两者互相适应。这可能是通往更强系统的路径,但也意味着优化空间和难度都成倍增加。

    未来挑战

    方向看起来很美,但现实骨感。翁荔在文中也坦诚列出了几个关键难题。

    首先是评估器模糊。很多任务的评价标准并不清晰,比如“创意写作”好不好,很难用一个自动评估器说清楚。如果评估器本身就不靠谱,那 Harness 的优化就会走偏。

    其次是上下文记忆退化。模型在处理长序列时,早期信息很容易被遗忘或扭曲。尽管有各种机制来缓解,但远未到完全解决的程度。

    奖励黑客也是一个大问题。任何基于奖励信号的系统,都逃不过模型想办法钻空子。Harness 越复杂,可能给模型留下的“漏洞”就越多。

    负结果难以保留同样棘手。在很多任务中,失败的尝试其实非常有价值,但在当前的 Harness 设计里,负结果往往直接被丢弃。如何系统性地从失败中学习,仍是开放问题。

    人类监督如何嵌入。完全自动化的 Harness 看起来很酷,但有些关键节点,还是需要人来把关。问题是,怎么设计这个“人机接口”?让人类审查什么事、什么频率、什么深度,才能既保证质量,又不拖慢整体效率?这些都需要在实践中摸索答案。

    总的来说,Harness Engineering 正在从一个边缘话题,走向 AI 自我提升路径的核心位置。它不会替代模型本身的进步,但很可能会成为那条“从能用到好用”之间的关键桥梁。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关
    相关文章 更多
    llama.cpp b12489、b12490、b12491、b12492、b12493、b12494、b12496、b12497、b12498预发布说明
    llama.cpp b12489、b12490、b12491、b12492、b12493、b12494、b12496、b12497、b12498预发布说明

    llama.cpp b12489、b12490、b12491、b12492、b12493、b12494、b12496、b12497、b12498 均为预发布构建,分别涉及服务器、语音模型及特定后端;适用范围须按模型、硬件和请求条件区分。

    MiniMax-H3-Image与DiffSynth-Studio 2.2.2文档配方的硬件条件怎样区分
    MiniMax-H3-Image与DiffSynth-Studio 2.2.2文档配方的硬件条件怎样区分

    MiniMax-H3-Image新增DiffSynth-Studio文档推荐后,配置选择应围绕具体推理配方和独立训练流程展开。文档中的24GB GPU方案分别配合32GB或8GB主机RAM,所用量化、CPU或磁盘卸载方式不同;新增文档入口本身没有发布模型新权重或标注一个新的框架版本。

    Ollama v0.40.17-rc0更新该看哪些条件,MLX、Vulkan与CLI改进如何对应
    Ollama v0.40.17-rc0更新该看哪些条件,MLX、Vulkan与CLI改进如何对应

    识别Ollama完整rc0预发布标签,区分MLX并发、Vulkan集成显卡mmap、llama.cpp b12257与CLI集成更新边界。

    宏基笔记本开机没反应怎么办?电源灯亮 黑屏及不通电的解决方法
    宏基笔记本开机没反应怎么办?电源灯亮 黑屏及不通电的解决方法

    宏基笔记本遇到开机没反应、电源灯亮但屏幕黑屏,或者按下电源键完全无反应的情况该怎么办?本文通过界面与状态指示灯的观察,分步骤介绍静电释放、内存重插及外接显示器测试等实用方法,助你自行解决常见启动故障。

    hp笔记本开机没反应电源键和大小写键亮怎么回事
    hp笔记本开机没反应电源键和大小写键亮怎么回事

    惠普笔记本开机时电源键和大小写锁定键亮起,但屏幕无反应?这通常是嵌入式控制器(EC)逻辑错误或静电干扰所致。本文详解如何通过移除外设、长按电源键进行硬件复位来恢复正常启动,并提供BIOS恢复及进一步硬件检测的建议。

    电脑黑屏显卡风扇狂转怎么回事?原因与解决方法
    电脑黑屏显卡风扇狂转怎么回事?原因与解决方法

    遇到电脑黑屏伴随显卡风扇狂转?这往往是显卡过热保护、供电不足或驱动崩溃的信号。本文详解如何通过观察指示灯、重置驱动、检查线缆及清理灰尘来解决该问题,避免盲目更换硬件。

    惠普笔记本开机没反应怎么办?电源灯不亮 闪烁及黑屏解决方法
    惠普笔记本开机没反应怎么办?电源灯不亮 闪烁及黑屏解决方法

    惠普笔记本无法开机、电源灯异常或屏幕黑屏?本文详解通过移除外设、执行硬重置(静电释放)、检查适配器及内存重插等步骤,快速定位并解决常见启动故障。

    笔记本开机没反应充电没反应怎么回事 如何解决
    笔记本开机没反应充电没反应怎么回事 如何解决

    笔记本电脑突然黑屏,按电源键无反应,连接充电器指示灯也不亮?别急着送修。本教程通过释放静电、检查适配器、重置EC等实操步骤,帮你解决笔记本“假死”问题。

    电脑黑屏风扇狂转怎么办?常见原因与故障排查方法
    电脑黑屏风扇狂转怎么办?常见原因与故障排查方法

    遇到电脑黑屏且风扇狂转?这通常是硬件接触不良或供电保护触发。本文提供详细的排查步骤,包括清理内存金手指、检查显卡供电及主板放电操作,助你快速恢复电脑正常启动。

    机械革命笔记本开机没反应怎么办
    机械革命笔记本开机没反应怎么办

    机械革命笔记本按下电源键没反应?本文详解静电释放法、电源适配器检查及内存重插等实操步骤,帮助用户快速定位并解决开机无响应问题,避免盲目送修。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。