别被RAG骗了，真正让AI学会”记住”的东西来了——MemT 1.0 我替你拆了一遍

别被RAG骗了，真正让AI学会”记住”的东西来了——MemT 1.0 我替你拆了一遍

今天刷到个新闻，上海记忆张量团队搞了个叫 MemT 1.0 的东西，开源了。

名字起得中规中矩，甚至有点理工直男——”记忆张量”？听着跟个线性代数作业似的。但你千万别被这个书名号式的名字骗了，这玩意儿可能是过去半年里，最接近”AI真的会成长”这件事的落地产物。

先把话撂这儿：如果你还在以为”记忆”=上下文窗口+向量数据库，那这篇文章就是来打脸的。

MemT 1.0 到底解决了什么问题

先讲一个场景，你就懂为什么这件事重要。

你用 AI 干活，花了大半个小时调教它，教它你的项目规范、API 风格、别用什么库、踩过哪些坑。好不容易跑通了。第二天打开新会话，它用一样的错误又翻车了，你还得重新教一遍。

这不是你一个人的问题，这是整个行业的问题。

目前主流的方案是什么？RAG（检索增强生成），长上下文，或者把历史记录硬塞进 system prompt。这些方案本质上都是”外挂”——记忆没有长在模型里，而是每次推理时由外部系统重新投喂。

问题在哪？打个比方：RAG 就像一个每轮对话都翻一次笔记本的考生。笔记本写得再厚，它也没把知识记在脑子里。下次换个问法，它就不确定这条该不该用了。

MemT 1.0 干的事，说穿了就是一句话：把记忆从外挂书，变成内置技能。

模型不再依赖外部检索来决定”记住什么、忘记什么、什么重要”，而是在每轮对话结束时，自己用一套学出来的门控机制，决定哪条信息该更新进内部记忆，哪条该丢弃。

听起来很顺？但做到这件事，难度比大多数人想象的大得多。

不是把聊天记录存下来就叫”记忆”

团队发布了一个技术报告（arXiv: 2610.26825），里面有个测试场景让我印象很深。

用户先给了个展览的原定时间，然后确认改期到周日，中间顺嘴提了一句”还有周一作为备选没被采纳”。然后双方闲扯了五百多轮、攒了约 6.6 万 token 的聊天记录，期间再也没有提过展览半个字。

如果靠传统外挂检索，你在这么长的跨度里，很容易把”周一备选”这个被否决的方案拉出来当真。但 MemT 1.0 在完全闭卷的状态下——也就是不依赖原始对话文本——准确报出原定时间、改到周日的确定时间，以及场地、票价和联系人没变。

这个能力不是靠更大的上下文窗口做出来的，是靠模型真的 “记住” 了。

怎么做到的？三点架构创新：

第一，Gated DeltaNet-2 的逐 Token 更新机制。

每轮交互结束后，模型会执行一个擦除→写入→遗忘的原子操作，把新信息融入已有记忆矩阵。注意这里的用词——是”融入”，不是”追加”。记忆状态的体积是固定的，不会因为对话变长而膨胀。持续交互只更新已有矩阵，边际成本趋近于零。

第二，Mixture-of-Storage（MoS）混合存储。

基座用的还是 MoE（混合专家）架构管计算，但 MoS 管的是存储。多个”记忆专家”分头掌管不同存储区域，通过稠密路由来动态分配读写权重。消融实验证实：把专家数从 2 个翻到 4 个，测试均分直接涨了 2.7 分。

第三，记忆注意力与原始注意力并行运行。

这是我个人觉得最漂亮的设计。它不是”先想再回忆”或者”先回忆再想”，而是记忆检索和当前推理同时进行。记忆状态直接参与前向传播，影响下一步的 token 预测。这是原生（native）的真正含义——记忆不是后门程序，是模型计算图的正经一部分。

跑分看看，别只讲故事

吹架构人人会，来看真东西。

11 项系统记忆基准测试，覆盖长期保留、动态更新、个性化理解，历史跨度从 16K 到 100 万 token。全程闭卷，不允许翻原文。

– MemT-1.0-Flash（288B, 17B 激活）：均分 50.6，比同组参数化记忆基线高 12.5 分 – MemT-1.0-Nano（36B, 3B 激活）：均分 47.0，比同组基线高 8.9 分

消融实验进一步说明了每个组件的贡献：拿掉后训练这一步，Nano 直接从 47.0 掉到 36.3，掉了 10.7 分。说明什么？数据训练比架构设计更狠——你架构搭得再好，不喂对的数据也不会长本事。

他们还做了一个很鸡贼但很实在的测试：”知之为知之”测试。16K token 的对话历史里，用户问自己的生日，因为从来没人告诉过模型，它直接回答”不知道”。没有编，没有猜。

三万多 token 的对话里，用户让模型根据之前定下的规则判断两个人谁有资格领工具箱，它准确核实了徽章和登记状态，正确判定一人合规、一人未登记。

这两件事，光靠拉长上下文是做不到的——要么爆上下文窗口，要么被噪声淹没。

SWE-bench 实战：从”记得住”到”会成长”

测试环节分三步走，每一步都在逼近”真正的经验积累”。

第一步：提前注入经验。

从数万条成功轨迹中提炼上千条可复用经验，在模型跑 SWE-bench 任务时，当它卡壳（报错、空返回、连续三次无效操作），就在卡壳点注入匹配经验重跑。筛出 4.2 万条”没经验做错、补经验成功的样本”，专门训练记忆原生模块。

结果：Nano 成功率从 66.07% 提到 69.33%，三次全成率从 54.00% 提到 61.60%。

注意一个细节——这和直接在上下文塞经验文本的对照组相比，表现相当（成功率 68.87%，三次全成率 61.60%）。也就是说，即使对话框里干干净净，模型光靠脑子里的记忆状态，效果就不输”作弊小抄”。

第二步：动态实战，边干边学。

这次不提前给经验了。模型两手空空去解题，系统在它卡壳的时候才当场写入排错经验。这更像真实场景——你不可能未卜先知。

结果：动态记忆把成功率推到 69.73%，三次全成率 62.80%，双双跑赢文本经验组（69.13% 和 61.80%）。

这是一个关键拐点：动态反馈 > 静态投喂。 模型在卡壳点上当场收到经验、当场修正、当场记住修正方法，这已经无限接近人类新员工的上手路径了。

第三步：多语言泛化。

别怀疑是不是只在 Python 上有效。SWE-bench Multilingual（9 种编程语言，300 项任务）上跑，Nano 从 60.00% 提到 63.56%，三次全成率从 45.33% 跃升到 55.33%——涨了整整 10 个百分点。

工程落地的账本

说一个被很多人忽略的点：成本。

目前大家做长上下文记忆，最大的痛就是 KV cache 膨胀。上下文窗口越长，显存占用越高，推理延迟越长，越跑不下去。

MemT 1.0 的优势在于记忆状态体积固定。技术报告里的数据很硬：

– 128K token 历史：端到端推理速度是完整上下文的 1.86 倍 – 256K token 历史：3.99 倍 – 持久化存储：仅为完整 KV cache 的 1/66

1/66 什么概念？你原来要花 66 倍的钱和带宽去维持长上下文的记忆，现在只需要 1 份。多人同时在线、跨周跨月的个性化场景，这个账直接决定方案能不能跑通。

别急着喊”RSI来了”

我知道你们会想到什么——递归自我改进（RSI）。

确实，技术团队在新闻稿里也提到了”记忆原生为持续学习与递归自我改进提供基础”。但我得泼一盆冷水：

有了记忆，不等于就会自我改进。

你有了硬盘不等于你就是个程序员。MemT 1.0 做的是把”记忆”这个基础能力从外挂变成内建，这确实让 RSI 有了可行的基础设施。但它还没做到”自进化”——它目前还是在外部框架判断卡壳点之后被动接收经验，而不是主动判断”我需要学什么”。

但这条路的路线图是对的：记忆 → 经验积累 → 跨任务泛化 → 主动学习 → 递归自我改进。MemT 1.0 踩实了第一级台阶，这对于一个开源项目来说，已经比市面上 90% 的”内存大师””回忆大师”产品踏实太多。

我的判断

过去三年，大模型圈都在横向卷：参数量、上下文长度、跑分榜。结果就是每半年要换一个更强的基座模型，企业升级一次伤筋动骨。

MemT 1.0 切的是纵向轴：时间。

它让模型在陪伴用户的过程里越用越聪明，而不是每次换新会话重新从零开始。你的纠正、你的反馈，都会通过记忆更新沉淀为能力。

这带来一个特别有意思的商业底层逻辑：

> 出厂参数再强的通用基座，随时可能被更强的模型替代。但一个陪你踩过坑、摸透你所有做事习惯和业务规则的记忆原生模型，却在一天天的磨合里长出了独属于你的壁垒。

这就是为什么我说，中国团队这次切对了方向。

不是又造了一个跑分狂魔，而是从基础设施层改变了”模型与经验”的关系。388B 和 36B 的模型权重已经在 HuggingFace 上开源了，给了全行业一个可以自己打磨的底座。

话不多说，去拉代码看看 MoS 怎么实现的。如果这东西真的能在生产环境中跑通大规模跨周记忆，而不被成本压垮——那 AI 从”工具”变成”同事”的那一天，就真的不远了。

—

*模型地址：https://huggingface.co/collections/MemTensor/memt-1* *论文：https://arxiv.org/abs/2610.26825* *代码：https://github.com/MemTensor/MemT-1.0*