模型的权重一动不动,分数却能涨 11.5 分——谷歌开源 Harness²,并顺手承认了一件事:你花大钱买的那层”壳”,一直在拖后腿
模型的权重一动不动,分数却能涨 11.5 分——谷歌开源 Harness²,并顺手承认了一件事:你花大钱买的那层”壳”,一直在拖后腿
先说一个被行业默认接受了很久的设定:想让 AI 变强,就得动模型。
训练、微调、蒸馏、RLHF,无论哪条路,最终都要碰权重。这套逻辑支撑了整个 AI 行业的算力叙事——模型不够好?加卡。表现不如预期?再训一轮。
谷歌研究院 10 月 9 日挂到 arXiv 的一篇论文,把这个设定撬开了一条缝。
论文标题很直白:《Harness²: Recursive Agent Harnessing for an Open World》。同时,代码已在 GitHub 以 Apache 2.0 协议开源。
它做的事听上去有点不讲道理:模型的权重一个字节都不动,只让它自己改写自己周围那圈”外壳”,分数就能涨 11.5 分。
先搞清楚:”外壳”到底是什么
这是理解整件事的关键。
一个智能体的能力,从来都是一半在模型,一半在模型周围那一圈配置。那圈东西有个专门的词:harness(外壳/脚手架),或者直译叫”马具”——套在模型身上、决定它怎么用力的那套装置。
Harness² 把这层外壳拆成了 8 类可编辑组件,全部以文件形式挂在系统里:
1. 系统提示词 2. 护栏 3. 记忆 4. 工具指南 5. 子智能体 6. 技能(Skills) 7. 脚本 8. 插件中间件
这八样东西共同决定了智能体怎么构建上下文、怎么调用工具、怎么把任务委派出去、怎么在多轮调用里把自己拉回来。
换句人话说:模型是大脑,这八样是”工作手册 + 工具箱 + 记忆本 + 下属名单”。 而 Harness² 要做的,是让智能体在执行任务的过程中,自己动笔改这八份东西。
数字先摆出来
在 WorkBuddy-Bench(覆盖办公、网页、编程三类任务)上,GLM-5 配合 OpenCode 执行器,仅经一步优化,就从 64.2 分升到 75.7 分——涨了 11.5 分。
并且,它反超了原生 Gemini 3.5 Flash。
其他两项基准:
– Harvey 的法律基准 LAB:部分通过率提升 11.8 个百分点 – JobBench:最高提升 4.5 分
而最重要的一个细节是:四种”模型—执行器”组合,全部录得提升,无一例外。
机制:两层递归,一层改现在,一层攒经验
名字很学术,逻辑其实好懂。
第一层:任务级递归。 智能体先用基础 harness 跑一遍任务。然后一个”编辑器”出场,提出两个修改方案——一个针对通用智能体缺陷(比如规划、工具使用),一个针对当前领域的专业知识。两个候选方案在同一件任务上分别试跑,最后由”组装器”对比三份执行轨迹,只保留有行为证据支持的改动。
这一步叫 Propose-Probe-Compose(提出—探测—组合)。
它的精妙之处在于:整个过程不需要标准答案。 它不判断”哪个答案对”,它对比”哪种改法让行为表现得更好”。这个区别是整篇论文的灵魂。
第二层:harnessing 级递归。 每次任务结束后,系统把被采纳的 harness 和一份经验笔记(`EXPERIENCE.md`)存进”改进库”。下次遇到新任务,编辑器已经”见过世面”了——每个新任务仍然从基础 harness 出发,但提出的修改更靠谱。
此外还有个预算参数 k 控制搜索深度。k=5 的并行递归,能再多拿 2.9 到 3.9 分。
三个我觉得最值得聊的细节
第一,谷歌的框架,用 Anthropic 的模型当”编辑器”。
论文里明写:编辑器默认是 Claude Opus 4.8。
这个细节很有信息量。它说明在”审阅并改写 agent 行为”这件事上,谷歌自己承认手上最强的工具来自竞争对手。顺带一提,这也印证了我前几天写 Pi 时说的那句话——当写代码的瓶颈消失后,价值锚点会转移到”审阅与拍板”上。 这里谷歌直接把”审阅”这个环节外包给了 Opus。
第二,执行器越弱,收益越大。
这是整篇论文里我认为最有实操价值的一个结论。
WorkBuddy-Bench 上那个 11.5 分,是 GLM-5 + OpenCode 这个组合拿到的——一个相对弱一些的搭配。换句话说:Harness² 是弱模型的”逆袭通道”。 你手上的模型不如人,但你的外壳调得更好,分数就能反超。
这对预算有限的团队是极好的消息:不必非得买最贵的模型,先把外壳调对。
第三,它是”不改权重也能变强”里最诚实的版本。
论文有一句话说得很实在:很多自动优化方法依赖评测集、奖励信号、或者真实的标准验证器来判断”这次修改是不是更好”。但真实企业环境里,大量任务根本没有唯一答案,甚至可能在 Agent 上线之前从没出现过。
Harness² 的应对是:不判对错,只看行为差异。 有执行证据支持的改动才留下。
这是我觉得它比同类方案更可能落地的原因——它默认了”你拿不到标准答案”这个现实。
我的判断
第一,这件事真正重要的地方,不是那 11.5 分,而是它重新分配了”变强”的成本结构。
过去要提升 agent 表现,你得:换更强的模型(贵)、微调(更贵)、重训(最贵)。Harness² 提供的是第四条路:不动模型,改外壳。 而外壳是文件、是文本、是可以被搜索和迭代的东西——成本结构完全不同。
而且请注意,这跟 RSI(递归自我改进)的叙事是同一条线。前几天我写过谷歌 DeepMind 被曝跑通 RSI,这次开源的是它的工程化版本:AI 自我改进,从”传言”变成了”Apache 2.0 协议、可以直接 pip 装的代码”。
第二,但我必须泼一盆冷水:论文自己写了,成本和延迟是落地的主要约束。
多轮优化意味着多次执行、多次对比、多次重组。每一步都要真跑。”涨 11.5 分”的代价,是 token 账单和响应延迟一起涨。 对于延迟敏感的场景(客服、实时编程辅助),这套东西可能直接不可用。
而且谷歌自己声明了:这仍是研究项目,不是官方支持的产品,沙箱和网络访问需要用户自行限制。加上测试集与真实开放任务之间还有距离——用一个更直白的说法:这是实验室里跑出来的数字,不是你在生产环境里能立刻复现的数字。
第三,对做 agent 的人,这篇论文给了三个可以直接抄的动作。
1. 先别急着换模型,先审计你的外壳。 系统提示词、工具描述、记忆策略——这八样东西里,随便哪一样写得糙,都是在白花花地浪费模型能力。Harness² 涨的 11.5 分,本质是把你原本浪费掉的那部分捞回来。 2. 建立你自己的 `EXPERIENCE.md`。 不用等谷歌的框架,人工也能干这件事——每次任务失败后记一条”这次错在哪、下次怎么改”,攒成一个小库。这是成本最低的自我改进。 3. 认准”执行器越弱收益越大”这句话。 如果你预算有限,别把钱全砸在模型上,留一部分给外壳调优,ROI 会更高。
最后说句我的判断。
这条新闻最值得警惕的地方,恰恰是它最吸引人的地方:”不碰权重也能变强”听起来像是免费的午餐。
它不是。它只是把成本从机房转移到了 token 账单和延迟上,把门槛从”有钱买卡”转移到了”有耐心做实验”上。
但它确实揭示了一件重要的事:我们过去几年把绝大部分注意力放在”模型有多强”,而忽略了”套在模型身上那层壳有多糙”。 现在有人把壳拆开、把八个零件一个个摆出来,告诉你这里能捡多少分。
那些分,一直都在那里。只是之前没人弯腰去捡。