人类给 AI 写好了”怎么记笔记”的规则,结果它反而变笨了

人类给 AI 写好了”怎么记笔记”的规则,结果它反而变笨了

先给一个数字。

2025 年底,Yoshua Bengio 等数十位学者发表《A Definition of AGI》,用认知科学十项核心能力给前沿大模型做体检。结果:通识、读写、数学解题已经逼近人类专家,但”长期记忆存储”这一栏,实测得分是 0%。

一年前 Karpathy 说过,智能体没法像人类实习生那样真正上岗,核心卡在持续学习上,而这个认知缺陷大概需要十年才能磨平。

然后,这件事在过去几个月里悄悄变了。

一个近乎”放养”的实验

Anthropic 在 11 月初发布的工程报告《The components of agent memory》里,最颠覆的信息在最开头。

实验配置极简得不像话:

单次长任务:只给模型一个可以自由读写的记忆文件夹 + 文件操作权。翻译一下就是——”这里有个地方你可以记东西”。

跨会话多周期:只给一套由索引文件与双向链接组成的标准文档目录。任务是探索现有文件,把有价值的信息整理成互相链接的 Wiki 页面,合并重复内容,对照来源核查。

除此之外——什么时候读、什么时候写、文件夹怎么建、关系怎么理顺,人类一概没有规定。

一年前,这么大的自由度丢给模型,大概率只会得到一堆废话。但这次,新一代模型表现出了完全自主的记忆拣选、经验归纳和自我纠偏能力。

数字:从 0.330 到 0.838

试金石是 CL-Bench,一个专门考察持续学习能力的基准。智能体面对陌生规则和隐藏约束,前几次试错正常,关键看它能不能从反馈里摸出规律。

先说这套基准公布时(今年 6 月)的行业底色有多灰暗:所有专门设计的记忆框架(Mem0、ACE、结构化记事本)全线跑输了最笨的全量上下文硬塞。 最好的配置也只吃下了 25.4% 的理论可学习空间。在德州扑克这类动态任务上,记笔记甚至因为死守早期错误判断而打出负收益。

然后是这条曲线:

| 模型 | 无记忆基线 | 有记忆文件夹 | 净增益 | |—|—|—|—| | Claude Sonnet 4.6 | 0.330 | 0.364 | +0.034(只吃下约 5%) | | Claude Opus 4.7 | 0.383 | 0.700 | +0.317(吃下过半) | | Claude Opus 5.5 | 0.655 | 0.838 | +0.183 |

Sonnet 4.6 的问题很典型:只在不到一半的轮次里想起来去翻旧笔记,而且经常在没核实的情况下,把自己的初步猜测当成既定事实写进文档——然后后面的步骤顺着错笔记一路错到底。

Opus 4.7 开始自发做一件事:把零散线索收拢进同一份主文档,并且不用人教,主动在笔记里把”已经通过环境反馈核实的结论”和”尚未验证的猜想”严格拆开标注。

这个动作没有任何人要求过。

0.838 是什么概念?满分 1.0 意味着”零试探、上来就一枪命中”的理论极限。0.83 以上的量级说明:模型靠着前几题攒的笔记,在后续问题里基本免去了盲目试错的成本。

最有意思的反转:人类的规则成了拖累

研究团队原本以为,给模型加几条人类总结的记笔记纪律(比如硬性规定”只记录失败教训”),能让记忆更干净。

结果:

– 对早期弱模型:有一点点扶助作用 – 加在 Opus 4.7 和 Opus 5 身上:任务总分反而下降了

也就是说——高阶模型对”这个任务该保留正向规律、反面踩坑、还是中间状态”的自主判断,已经比人类事先拍脑袋写死的静态规则更准。

这个结论很扎心。它意味着”我比模型更懂怎么记笔记”这个假设,在有足够强的模型身上已经不成立了。

宝可梦:225 个文件夹 vs 10 份文档

如果说上面是数字,这一组对比就是画面。

《宝可梦:红》,一万步,给模型文件写入权限。

早期的 Sonnet 3.7:陷入典型的机械囤积。一万步下来建了 225 个文件夹、塞进 413 个碎文件。它默认所有风吹草动都可能有用——每打一场遭遇战、每捡一个道具、每跟一个路人说话都单独建文件,连屏幕上明明白白显示着的金币数和地图坐标也要抄一遍。

最后目录乱得连它自己都找不到北。大多数步数都花在改记忆上,结果只拿到 1 枚道馆徽章。

最新的 Claude Fable 5:面对完全相同的空白目录,建立了清爽的两层结构——根目录一份 global.md(全局进度 + 当前目标),下面只开 `locations/` 和 `gameplay/` 两个文件夹,总共只维护 10 份文档。

它写的 gameplay 笔记是这样的:

> “如果连续扔出 3 颗以上精灵球都抓捕失败,不要原地重复完全相同的操作,必须调整按键时机或先改变敌方状态,以跳出伪随机数死循环。”

不记画面上随时能读到的瞬时状态,只记隐藏机制和验证过的计划。

同样一万步,4 枚徽章。

“睡觉”这件事,被做成了功能

第二个值得说的设计叫 Dreaming(做梦),也就是后台离线整理。

它的动机来自一个很具体的问题。Anthropic 同期的 Project EVE 实验(让 Claude 玩《星战前夜》)里,几代模型都能自己写出套利脚本并稳定盈利。但脚本跑顺之后,绝大多数智能体就抱着”没坏就别修”的心态再也不质疑旧策略。

当游戏在 2025 年 3 月上调交易销售税、让原有套利空间失效时:

– Opus 4.7 智能体花了整整 2.5 天才察觉环境变了 – 43% 的 Opus 4.6 智能体直到跑完整个周期都没发现税率改过

所以 Dreaming 的思路是:用最简单的双链目录 + 周期性离线唤醒,给模型造一个跨周期的整理环境。

四层结构,自下而上:

1. 原始会话日志:不可篡改的事实底本 2. 记忆笔记:白天随手记的零散经验(容易混入猜测) 3. 结构化 Wiki:带元数据的主题 Markdown 文件,用双向链接串成知识地图 4. 置顶注入:新会话启动时只加载最精简顶层索引(如 MEMORY.md 前 200 行或 25KB)

而把它们串起来的引擎,在会话空闲期或夜间自动拉起:先核验提纯(拿真实返回结果反向核对旧记忆,被证伪的当场订正,失效的标过期),再全局收口(合并并发写入撞车的重复页面;两份记录矛盾又无法确认先后时,严禁瞎猜,两边出处都保留并标出冲突)。

账单:离线整理 50 份长会话日志(约 12MB 文本),耗时约 10 分钟,API 成本约 8 美元。

自我纠错的一个具体例子

宝可梦测试里有个很生动的案例。

模型曾在月见山的笔记里记错了宝可梦中心位于山的哪一侧,因此误以为自己已经穿过山了。

如果只靠传统向量检索,这条错笔记以后每次路过月见山都会被召回,持续误导决策。

但在 Dreaming 阶段,后台模型没有盲信现成笔记,而是翻回原始操作轨迹做交叉核验:它发现当时往东走顺利抵达华蓝市,往西走根本走不通。

核实清楚因果后,模型自己在后台把这条错误经验改写了。

这就是”做梦”和”检索”的根本差别:检索会忠实地把错误也找回来,做梦会去验证它。

我的判断

第一,这个实验最大的价值不是分数,是它证明了”该记什么”是可以学出来的,而不是必须规定出来的。

过去一年,20 多篇相关论文的共同前提都是”模型自己还不会管记忆,必须靠后训练或外挂路由扶一把”。Anthropic 这个实验直接把这个假设推翻了。

第二,”人类规则反而降低强模型表现”这一条,是最值得警惕也最值得高兴的发现。

警惕的是:你精心设计的记忆规范,在强模型上可能是负资产。 高兴的是:这意味着能力真的在往上走,而不是在拟合你的规则。

这也意味着一个很现实的工作习惯要改:以前我们写 prompt 是”教它怎么做”,以后更多是”告诉它要什么”。

第三,225 个文件夹 vs 10 份文档,是”什么值得记”这个问题最直观的答案。

Sonnet 3.7 的逻辑是”所有信息都可能有价值,先存下来”。 Fable 5 的逻辑是”屏幕上能读到的不要记,只记验证过的隐藏规律”。

后者才是真正的抽象能力——它知道哪些信息是”可重新获取的”,哪些是”错过就没了”。

这个判断,人类做研究时也在反复纠结。

第四,8 美元的账单,把”长期记忆”从研究课题变成了可部署的工程方案。

50 份长会话、12MB、10 分钟、8 美元。这个成本结构意味着:任何一个有真实业务往来的系统,都能负担得起给自己的 Agent 装一个长期记忆。

而一旦装上,”这个助手记得三个月前你否决过哪个方案”就从科幻变成了默认配置。

—

*报告:Anthropic《The components of agent memory》(2026-11 初)* *基准:CL-Bench(2026-06 公布,此前所有记忆框架均跑输 ICL 硬塞)* *关键数据:Sonnet 4.6 0.330→0.364 / Opus 4.7 0.383→0.700 / Opus 5.5 0.655→0.838* *宝可梦对比:Sonnet 3.7 建 225 文件夹 413 文件得 1 徽章 / Fable 5 维护 10 份文档得 4 徽章* *Dreaming:四层记忆架构 + 离线核验提纯 + 全局收口;50 份日志约 10 分钟 $8* *关键反转:人为记忆规则对弱模型有帮助,对 Opus 4.7/5 反而降低总分* *来源:36氪 / Hao好聊趋势 / Anthropic 工程报告*

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注