模型一换,之前调好的 Agent 框架就成了”屎山”:谷歌给 AI 装了一份交接文档,问题解决了

模型一换,之前调好的 Agent 框架就成了”屎山”:谷歌给 AI 装了一份交接文档,问题解决了

有个场景,每个重度使用 Agent 的人都该见过。

你花了两周时间,把某个模型的 Agent 框架(Harness)调到最佳状态——提示词怎么分块、哪些工具该拦、什么情况下该拒绝、错误怎么重试。

然后新模型发布了。

你把框架原封不动搬过去。结果分数比新模型的原始框架还低。

代码一行没改,问题全出在”没人告诉它为什么”。

一个被忽略的诡异现象

谷歌的研究者在实验中发现了一个反直觉的结果:

一个在 Claude Opus 深度进化、表现优异的 Harness,直接套用到 Gemini 身上,得分居然比 Gemini 原生的初始 Harness 还要低。

原因很朴素:

> 代码被扔给新模型时,只有”结果”被保留了,但”原因”丢失了。

新模型的优化器看到满屏幕的复杂规则、各种奇怪的拦截器和提示词,完全懵了。

它不知道每一次修改的初衷是什么,于是开始乱改:

– 把原本用来修复致命 Bug 的代码,当成冗余删掉 – 把早已证明无效的方案,又拿出来重跑一遍

结果:越优化越烂,陷入死循环。

谷歌的解法:给优化器配一个开发日志

谷歌提出的框架叫 CRSI(Continual Recursive Self-Improvement,持续递归式自我改进)。

核心是 SIM(Self-Improvement Memory,自我改进记忆)。

这不是”聊天历史记录”,是一个高度结构化的极客开发日志。

每次 AI 修改了 Harness 代码,SIM 都会按”问题根因”分组,记录四个要素:

| 字段 | 记什么 | |—|—| | Rationale | 基于什么原因,改了哪一行代码 | | Predicted outcomes | 动手前觉得能修复哪些任务 | | Observed outcomes | 实际跑完成功了几个、失败了几个、有没有引入新 Bug | | Evaluation context | 当时用的什么模型、什么数据集 |

相当于上一代模型在离职前,留了一份极其详尽的交接文档。

新模型接手时,每一轮优化前先读这份日志,然后”吃一堑长一智”。

那个最经典的案例:过度偷懒的拦截器

论文里有个特别生动的例子。

背景:之前优化中,AI 总是偷懒——还没执行 Git 命令,就骗系统说”任务完成了”。

Claude 时期的修法:优化器在 Harness 里加了一个”拦截器”,规定:没有实际执行命令,不准提交完成。

现在把框架交给 Gemini 3.8 Flash 继续优化。

没有 SIM 时,是灾难现场。

Gemini 接手这个拦截器后,完全不知道它为什么存在。后续迭代中不仅没让它变好,反而自己把自己搞死机了——连续 4 次重写这段代码,其中 2 次是为了修复它自己刚搞出来的 Bug。

就像一个没看懂前人架构的新手程序员,在屎山上越堆越多。

有 SIM 时,是另一个故事。

Gemini 读日志后立刻明白:”这个拦截器是为了防止在没有证据的情况下过早提交。”

于是它不仅保留了拦截器,还顺便给它做了一次升级:加入针对特定目标任务的检查,不仅要任务跑通,还要对比理论最优解,得分达标才准通关。

这才是真正的”继承并光大”。

数据:Workspace 任务涨了 11 分

四组对比基线:冷启动 / 只传代码 / 只传问题根因 / 完整 SIM。

亮点一:Workspace 任务跨模型,性能涨 11.33 分

Opus 转移到 Gemini 的 Workspace 任务中,由于水土不服,起点只有 68.41 分。

继续优化后:

– 只传代码(无 SIM):挣扎到 73.42 – 完整 SIM:直接飙到 84.75

差了 11.33 分。

亮点二:Coding 领域,胜率 90%

Terminal-Bench 命令行任务,做了 10 次独立运行:

有 SIM 的一方 9 次击败了没 SIM 的一方,平均高出 2.36 分,p=0.003(统计学显著)。

亮点三:换数据集也照样赢

同一个模型换到全新的数据集(比如文本分类从 3 个老数据集换到 8 个没见过的),完整 SIM 在全部 6 个测试场景中拿下最高分。

三个判断

第一,这件事的价值不在于”AI 能自我改进”,在于”AI 能传承自己改进的经验”。

过去所谓的 RSI 大多是”伪 RSI”——自我改进几次之后就性能衰退,因为它忘了自己为什么这么改。

SIM 补上的那一环,其实是人类工程里最古老的一件事:写交接文档。

任何一个接手过别人代码的人都懂——代码是结果,注释、commit message、设计文档才是原因。只有结果没有原因的代码,就是屎山。

谷歌这次证明的是:这个道理对 AI 一样成立,而且它的效果可以被量化到 11 分。

第二,跨模型家族继承经验,这一条比分数更惊人的。

从 Claude Opus 优化出来的经验,能被 Gemini 继承并使用。这意味着”进化经验”可以脱离具体模型,成为一种可转移的资产。

设想一下这件事的长期含义:如果经验可以跨模型积累,那么”调教一个 Agent”的价值——不再只是”这个模型好用”,而是”这套积累下来的改进历史”。

第三,也是最实际的一条:这个机制在日常工程里立刻就能用。

不用等论文的完整实现。你今天就可以做一件事:每次让 AI 改代码,让它顺便记录「为什么改、预期什么效果、实际什么效果」。

这份记录,就是你的 SIM 手搓版。

如果 AI 哪天换模型,或者你换了团队,这份记录的价值会立刻显现——它决定了接手的人是能看懂,还是只能瞎改。

—

*论文:arXiv 2611.18856 —— 自改进记忆,实现持续递归式自我改进* *团队:谷歌云 AI / Google DeepMind / 宾夕法尼亚州立大学* *框架:CRSI(持续递归自我改进)+ SIM(自我改进记忆)* *SIM 四要素:Rationale / Predicted outcomes / Observed outcomes / Evaluation context* *关键数据:Workspace 68.41 → 73.42(无SIM)/ → 84.75(Full SIM)* *Coding:10 次运行 9 胜,平均 +2.36 分,p=0.003* *来源:新智元 / 36氪*

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注