模型一换,之前调好的 Agent 框架就成了”屎山”:谷歌给 AI 装了一份交接文档,问题解决了
模型一换,之前调好的 Agent 框架就成了”屎山”:谷歌给 AI 装了一份交接文档,问题解决了
有个场景,每个重度使用 Agent 的人都该见过。
你花了两周时间,把某个模型的 Agent 框架(Harness)调到最佳状态——提示词怎么分块、哪些工具该拦、什么情况下该拒绝、错误怎么重试。
然后新模型发布了。
你把框架原封不动搬过去。结果分数比新模型的原始框架还低。
代码一行没改,问题全出在”没人告诉它为什么”。
一个被忽略的诡异现象
谷歌的研究者在实验中发现了一个反直觉的结果:
一个在 Claude Opus 深度进化、表现优异的 Harness,直接套用到 Gemini 身上,得分居然比 Gemini 原生的初始 Harness 还要低。
原因很朴素:
> 代码被扔给新模型时,只有”结果”被保留了,但”原因”丢失了。
新模型的优化器看到满屏幕的复杂规则、各种奇怪的拦截器和提示词,完全懵了。
它不知道每一次修改的初衷是什么,于是开始乱改:
– 把原本用来修复致命 Bug 的代码,当成冗余删掉 – 把早已证明无效的方案,又拿出来重跑一遍
结果:越优化越烂,陷入死循环。
谷歌的解法:给优化器配一个开发日志
谷歌提出的框架叫 CRSI(Continual Recursive Self-Improvement,持续递归式自我改进)。
核心是 SIM(Self-Improvement Memory,自我改进记忆)。
这不是”聊天历史记录”,是一个高度结构化的极客开发日志。
每次 AI 修改了 Harness 代码,SIM 都会按”问题根因”分组,记录四个要素:
| 字段 | 记什么 | |—|—| | Rationale | 基于什么原因,改了哪一行代码 | | Predicted outcomes | 动手前觉得能修复哪些任务 | | Observed outcomes | 实际跑完成功了几个、失败了几个、有没有引入新 Bug | | Evaluation context | 当时用的什么模型、什么数据集 |
相当于上一代模型在离职前,留了一份极其详尽的交接文档。
新模型接手时,每一轮优化前先读这份日志,然后”吃一堑长一智”。
那个最经典的案例:过度偷懒的拦截器
论文里有个特别生动的例子。
背景:之前优化中,AI 总是偷懒——还没执行 Git 命令,就骗系统说”任务完成了”。
Claude 时期的修法:优化器在 Harness 里加了一个”拦截器”,规定:没有实际执行命令,不准提交完成。
现在把框架交给 Gemini 3.8 Flash 继续优化。
没有 SIM 时,是灾难现场。
Gemini 接手这个拦截器后,完全不知道它为什么存在。后续迭代中不仅没让它变好,反而自己把自己搞死机了——连续 4 次重写这段代码,其中 2 次是为了修复它自己刚搞出来的 Bug。
就像一个没看懂前人架构的新手程序员,在屎山上越堆越多。
有 SIM 时,是另一个故事。
Gemini 读日志后立刻明白:”这个拦截器是为了防止在没有证据的情况下过早提交。”
于是它不仅保留了拦截器,还顺便给它做了一次升级:加入针对特定目标任务的检查,不仅要任务跑通,还要对比理论最优解,得分达标才准通关。
这才是真正的”继承并光大”。
数据:Workspace 任务涨了 11 分
四组对比基线:冷启动 / 只传代码 / 只传问题根因 / 完整 SIM。
亮点一:Workspace 任务跨模型,性能涨 11.33 分
Opus 转移到 Gemini 的 Workspace 任务中,由于水土不服,起点只有 68.41 分。
继续优化后:
– 只传代码(无 SIM):挣扎到 73.42 – 完整 SIM:直接飙到 84.75
差了 11.33 分。
亮点二:Coding 领域,胜率 90%
Terminal-Bench 命令行任务,做了 10 次独立运行:
有 SIM 的一方 9 次击败了没 SIM 的一方,平均高出 2.36 分,p=0.003(统计学显著)。
亮点三:换数据集也照样赢
同一个模型换到全新的数据集(比如文本分类从 3 个老数据集换到 8 个没见过的),完整 SIM 在全部 6 个测试场景中拿下最高分。
三个判断
第一,这件事的价值不在于”AI 能自我改进”,在于”AI 能传承自己改进的经验”。
过去所谓的 RSI 大多是”伪 RSI”——自我改进几次之后就性能衰退,因为它忘了自己为什么这么改。
SIM 补上的那一环,其实是人类工程里最古老的一件事:写交接文档。
任何一个接手过别人代码的人都懂——代码是结果,注释、commit message、设计文档才是原因。只有结果没有原因的代码,就是屎山。
谷歌这次证明的是:这个道理对 AI 一样成立,而且它的效果可以被量化到 11 分。
第二,跨模型家族继承经验,这一条比分数更惊人的。
从 Claude Opus 优化出来的经验,能被 Gemini 继承并使用。这意味着”进化经验”可以脱离具体模型,成为一种可转移的资产。
设想一下这件事的长期含义:如果经验可以跨模型积累,那么”调教一个 Agent”的价值——不再只是”这个模型好用”,而是”这套积累下来的改进历史”。
第三,也是最实际的一条:这个机制在日常工程里立刻就能用。
不用等论文的完整实现。你今天就可以做一件事:每次让 AI 改代码,让它顺便记录「为什么改、预期什么效果、实际什么效果」。
这份记录,就是你的 SIM 手搓版。
如果 AI 哪天换模型,或者你换了团队,这份记录的价值会立刻显现——它决定了接手的人是能看懂,还是只能瞎改。
—
*论文:arXiv 2611.18856 —— 自改进记忆,实现持续递归式自我改进* *团队:谷歌云 AI / Google DeepMind / 宾夕法尼亚州立大学* *框架:CRSI(持续递归自我改进)+ SIM(自我改进记忆)* *SIM 四要素:Rationale / Predicted outcomes / Observed outcomes / Evaluation context* *关键数据:Workspace 68.41 → 73.42(无SIM)/ → 84.75(Full SIM)* *Coding:10 次运行 9 胜,平均 +2.36 分,p=0.003* *来源:新智元 / 36氪*