一个人、1000万美元、3.5个月训出千亿模型——但英伟达研究员那篇”保命文”里，藏着比这更扎心的东西

一个人、1000万美元、3.5个月训出千亿模型——但英伟达研究员那篇”保命文”里，藏着比这更扎心的东西

先说最炸的。

初创公司 Mirendil 宣布：1 名研究员，3.5 个月，不到 1000 万美元的算力（含所有前期探索和 Agent 的 Token 消耗），从零训出了一个 100B–500B 的编程基座模型 Mirendil-Base。

细节才是真正让人头皮发麻的部分：

– 项目从一个空荡荡的代码库开始 – 没有买任何商业授权数据，没有用任何模型蒸馏或合成数据 – 纯粹基于 PyTorch、JAX 和公开的 GitHub 代码与网页数据 – AI Agent 编写了超过 99% 的代码，自己跑完了所有实验，甚至自己诊断训练故障

那唯一的人类研究员，3.5 个月里只干了两件事：决定尝试什么研究方向，以及判断哪些实验结果值得相信。

同一周，田渊栋的 Recursive 发布了 Flint（40B，MacBook Pro 上 125 tokens/s）。两家公司几乎是同时把 RSI 从概念砸到了地上。

但我今天不想吹这两条新闻。因为同一天，英伟达资深研究员 Ali Hatamizadeh 写了一篇长文，回应一个刚入行的初级研究员凌晨发来的私信。

那封信是这么写的：

> 整个预训练过程就一个人，没有研发团队，什么都没有……如果一个人加一个计算集群，就能干完过去整个团队的活儿，那我花了这么多年苦心积累的专业能力，岂不是还没捂热就已经过时了？

Ali 的回答值得每一个搞技术的人读三遍。他撕开了”单人训千亿模型”的外壳，给出了四条生存法则。

而我认为第四条比前三条加起来都更值得警惕。

先看模型本身：这个”单人产出”能打吗

不看广告看疗效。Mirendil-Base 直接拉出市面上最强的五个编程模型同台竞技：

– Kimi-K3（2.8T 总参 / 104B 激活） – DeepSeek-V4-Pro-Base（1.6T / 49B） – Inkling（975B / 41B） – GLM-5.3（753B / 40B） – Nemotron-550B-Base（550B / 55B）

对面全是万亿级 MoE，背后站着几百人的团队。100B–500B 的 Mirendil-Base 打得不落下风，在多个训练后新发布的外部代码库测试中拿到高分。用的是 bits per byte 交叉熵（跨分词器公平对比，越低越好）。

更进一步的消息：Mirendil-Base-Large（500B–2T）已经训到 80%，旗舰版 Mirendil-Base-XL（2T–10T）才训到 19%，表现就已经逼近了 Large 版本的当前得分。

而且他们说，下一代模型将直接由 Mirendil-Base 自己参与构建。

这个说法如果为真，闭环就合上了。

Ali 的第一条：别再靠”复读旧配方”混日子

为什么一个人能训出来？

Ali 的回答非常克制也非常残酷：因为常规预训练的”配方”已经彻底成熟且公开了。

各大厂早就把开源权重、详细技术报告喂到了嘴边。只要算力管够，照着公开的常规架构（比如加个滑动窗口注意力），让 AI 把代码写出来，训出个好模型根本不难。

这时候解决的是「执行和预算问题」，而不是「科研问题」。

他给了一句我认为是全文最扎人的话：

> 「如果你的主要工作，只是把去年的训练方案稍作调整、换批数据再跑一遍，那么这类工作的空间正在迅速缩小。」

靠”复现已有成果”当炼丹童子的旧饭碗，已经被 AI 砸碎了。

我得补一句。这不只是对研究员说的。写增删改查、写脚手架、写数据管道、调 SQL 优化、写 CRUD 接口——所有”配方已知、只是照着做”的活儿，都在同一个碗里。

Ali 的第二条：执行力归零后，”判断力”才是新饭碗

既然 AI 写了 99% 的代码，为什么还需要人类？

因为自动化科研在最关键的环节上，根本还没跑通。

他举了三个例子，每一个都值得记下来：

例子一：EinsteinArena。 AI Agent 确实刷新了 11 个未解数学问题的纪录，把 11 维空间中接吻数的最佳已知下界从 593 提高到了 604。

但前提是：人类事先定义好了问题，并写好了自动评分代码。

例子二：”全 AI 生成论文通过同行评审”。 扒开细节一看：只通过了一个接收率高达 70% 的研讨会（Workshop）初审，非主会，而且后来还撤稿了。

例子三：OpenAI 内部数据。 那些人类需要花 4–8 小时完成、智能体最终成功完成的任务中，超过一半仍然需要至少一次人工干预。

为什么？Ali 给了一个极其精准的描述：

> 智能体给出答案极快，语气永远自信满满。它会兴冲冲地跑来告诉你：”某项指标暴涨了 3 个点！”还贴心地附上了消融实验表格和一套自圆其说的解释。 > > 但实际上呢？这 3 个点可能完全是假象——它来自评测中的数据泄漏、数据加载器的底层 Bug、碰巧撞大运的随机种子，或者分词器不匹配。

这段话我读完后背发凉，因为它太真实了。

你让 AI 跑了个实验，指标涨了 3 个点，看起来很有说服力，还配了消融表格，逻辑链条完整，你差点就信了。

然后你回头一查：数据加载器有个 off-by-one，把测试集的一部分漏进了训练。或者评测脚本的分词器和训练时用的不是同一个，导致 tokenize 边界不一致，loss 算出来偏低。

这些坑，AI 不会主动告诉你。因为它自己也不知道。它只看到了指标涨了。

这就是 Ali 说的”执行成本归零”带来的副作用：产出速度超过了验证速度，而验证是人的活。

Ali 的第三条：这就是这个时代的悖论

很多新人的想法是：既然以后只拼判断力，那我是不是不用学底层了，直接学怎么指挥 AI 就行？

Ali 的警告振聋发聩：

> 这就是这个时代的悖论——交给智能体的工作越多，你的基本功就越重要。因为你永远无法监督自己不理解的东西。

你能一眼看出 AI 的结果有猫腻，靠的是对整个系统骨子里的理解：损失曲线为什么长成这种形状？多大的提升才符合物理规律？什么样的结果”好得令人起疑”？

他给了三条特别实在的练法，我建议每个写代码的人都抄下来：

1. 亲手造轮子：至少亲手从零实现一次注意力机制（Attention），再实现一种线性变体，比如 Gated DeltaNet 2. 搞破坏实验：从头到尾自己训练一个小模型，然后故意把它弄坏，亲眼观察崩溃时会发生什么 3. 带着质疑读论文：连附录也别放过，在看到作者的实验数字之前，先在脑子里对合理的结果建立预期

第三条尤其狠。”在看到数字之前先建立预期”——这是老研究员的肌肉记忆，也是新人最缺的东西。

因为只有你有预期，你才知道什么数字不对劲。没有预期的人，看到任何数字都会觉得”哦，还挺高”。

第四条：那七个问题，才是真正该记住的东西

Ali 的第四条是”大模型远未研究透，遍地都是黄金考题”。他列了七个至今无人完美解答的课题：

1. 少样本高效学习：怎样用更少的数据学到更多东西？ 2. 新架构探索：像 Gated DeltaNet 这样的线性注意力，能否在检索和长上下文任务中追上全注意力？混合架构中两者该如何配比？ 3. 持续学习：怎样让模型在训练结束后继续学习，同时不遗忘已经掌握的知识？ 4. 长程推理可靠性：为什么任务一长，推理就变得不那么可靠？ 5. 消灭幻觉：模型为什么会编造内容？能不能让它们学会老老实实说”我不知道”？ 6. 新评测体系：当基准测试成绩趋于饱和，或测试内容混进了训练数据，我们该如何衡量模型是否真的进步？ 7. 可解释性与控制：模型内部究竟发生了什么？面对自主性越来越强的模型，如何确保它们按人的意图行事？

我想说的不是这七个问题本身。我想说的是——

这七个问题里，有四个（1、3、4、6）在这一周的两条新闻里被直接暴露出来了：

– Mirendil 的模型能训出来，但它在训练结束后不会再学习了（问题 3） – Gemini 的 Agent 能打 27 小时，但长程可靠性靠的是反复重试和上下文压缩，不是根本解决（问题 4） – Mirendil 的对比用了 bits per byte 这个”公平”指标，恰恰是因为跨分词器的评测本身就不公平（问题 6） – 而整个 RSI 叙事依赖的”实验可验证”，被 Ali 那段”假的 3 个点”直接打穿（问题 6 的另一面）

换句话说：AI 造 AI 这件事越成功，这七个问题就变得越迫切。

因为如果以后真的由模型来训练模型，就必须有人来决定：它们应该优化什么？我们该怎样衡量？又该如何防止这个自我进化的循环越走越偏？

Ali 最后那句话我很喜欢：

> 机器正变得越来越擅长沿着我们已经铺好的高速公路狂飙；但下一条路该通向哪里，方向盘，依然死死握在你们的手里。

我的判断

第一，”一个人训出千亿模型”是真的，但”一个人替代一个团队”是假的。

Mirendil 的 1 个人不是孤立的 1 个人——他背后是成熟的公开配方、公开的权重、公开的技术报告、一个能写 99% 代码的 Agent 系统，还有千万美元算力。Ali 说得很清楚：这是执行和预算问题，不是科研问题。

所以正确的读法不是”专家不值钱了”，而是”专家的价值从’我会做’转移到了’我知道该做什么、以及怎么判断做的对不对'”。

第二，那个”假的 3 个点”，才是这篇文章里最该被记住的东西。

它道破了一个所有人都在经历但很少说清楚的事：AI 时代的核心风险不是 AI 做不出来，而是 AI 做出来了你判断不了。

你让 Agent 跑 50 个实验，它给你 50 份看起来很专业的报告，每份都有表格、有理由、有结论。你的时间根本不够逐个核查。于是你要么全信，要么全不信——两个都是灾难。

真正稀缺的能力，是从 50 份报告里一眼挑出哪 3 份是假的。而这个能力，只能来自你自己踩过那些坑。

第三，别急着转行，先想清楚你的”判断力”是从哪来的。

现在网上到处是”AI 时代要学判断力、要学提问、要学审美”这类建议。听着都对，但问题是：判断力不是学来的，是干出来的。

你能不能判断一个 loss 曲线是否异常，取决于你亲手调过多少个模型、见过多少次崩溃、被自己的 bug 坑过多少回。Ali 说”故意把它弄坏”，说的就是这件事——你得先有肌肉记忆，才有直觉。

光看别人的报告，长不出判断力。所以第三条和第二条是一体的：基本功不是判断力的对立面，是判断力的原材料。

第四，也是我最想说的：真正该焦虑的不是被替代，是被”效率”绑架。

一个人能训千亿模型这件事，会被解读成”人效提升”。但我看到的另一面是：

当执行变得无限便宜，验证就会变成瓶颈。而验证是唯一不能自动化的部分（至少现在还不是）。

这意味着什么？意味着未来的工作节奏会被 AI 的产出速度拖着跑。你每天要审的东西比现在多十倍，而你的注意力还是那么大。

这才是真正的挑战。不是”AI 会不会替掉我”，而是”我能不能在被 AI 拖着跑的时候，还保持住那份质疑的力气”。

—

*Mirendil 技术博客：https://mirendil.com/news/pretraining-at-scale-without-a-pretraining-team/* *Recursive Flint：https://recursive.com/updates/introducing-recursive-flint* *Ali Hatamizadeh 原文：https://x.com/ahatamiz1/status/2113344049784799378* *相关数据：OpenAI 研究部门智能体工作量 = 3.1 个智能体工作日/人类工作日（2026年9月披露）*