给 AI 12 小时、4 张卡、断网:它写出了比人类打磨多年的推理引擎快 25 倍的方案
给 AI 12 小时、4 张卡、断网:它写出了比人类打磨多年的推理引擎快 25 倍的方案
先描述一个你肯定经历过的场景。
你让 AI 修一个登录报错。改完代码,跑测试,还是同样的错。你把新日志贴进对话框,按下回车——然后开始等。
等多久?真实编程会话的 P90 首 token 延迟,大约是 12 秒。
12 秒够你切回编辑器,顺着报错翻几行代码了。
最近,卡内基梅隆大学、NVIDIA 等机构的研究者做了一个叫 Singularity-Bench 的基准(arXiv 上 11 月 12 日提交),题目是:《智能体能构建智能体吗?》
其中一道题:给 Claude Opus 5.5 一份基础服务器代码、4 张 GB300 显卡、12 小时,断网,让它自己写一套推理引擎。
它交出的引擎,把那个 12 秒干到了 0.48 秒。
同一个模型、同一批请求、同样 4 张卡
测试很严谨——不只看代码,直接上真实负载回放。
两套引擎分别用 4 张 GB300 跑同一个模型,回放同一批 16 路并发的真实编程会话。
指标是 P90 首 token 延迟:把所有请求从发出到模型开始吐字的等待时间排序,取第 90 百分位。也就是说,90% 的请求都能在这个时间内开始回复。
| 引擎 | P90 首 token 延迟 | |—|—| | SGLang v0.5.20(成熟方案) | 12.029 秒 | | Claude 自写引擎 | 0.478 秒 |
差 25 倍。
一旦开始回复,两套引擎的生成速度几乎一样:中位数下,Claude 的引擎 124.2 tokens/s,SGLang 125.0 tokens/s。
那 11 秒半,省在哪?
秘密在于”排队规则”
论文回放的会话里,前几轮的聊天记录也会一起送到服务器。16 路会话同时跑,单次输入中位数是 8.9 万个 token。
两套引擎都用了前缀缓存,命中率都在 96% 左右。也就是说,头部的差距不在”缓存做得好不好”。
差距在调度。
想象一个超市结账场景:
排在你前头的顾客推着满满一平板车年货,几万个全新 token 等着从头扫码。而你站在后面,手里只攥着一瓶矿泉水——因为你只是在老会话里追问了一句,96% 的前文都有现成缓存。
在并发推理里死守”先来先到”,等于让买一瓶水的人替整车年货罚站。
Claude 给引擎定下的规矩是:谁剩下的计算量少,就先处理谁。
遇到好几万 token 的全新大单,引擎还会把它切成小块分批消化,绝不让一个大任务把整条车道堵死。
这样,你在旧对话里补的那句追问,就有机会绕过长请求的等待,优先得到处理。
生成阶段还叠了投机解码:模型自带的轻量预测层先猜一个 token,主模型随后核验——猜对就直接用,猜错就丢弃。
结果:不只是快了,还多干活了
同一时段内:
– SGLang 完成 705 个请求 – Claude 的引擎完成 983 个,多处理近 四成
按预设单价折算”模拟收入”:每 GPU 小时产出从 8.18 美元 → 11.52 美元,涨 40.8%。
但研究者在交卷时设了两道硬门槛:一是在并发负载下必须完整生成规定长度的回复;二是通过隐藏测试的准确率验收。
参测的 11 套 AI 自研引擎,最后只有 5 套同时闯过;另外 6 套要么半路吞字断句,要么准确率崩盘,当场判零分。
跑得飞快却满嘴胡话——那叫高速翻车,不叫优化。
六道闭卷考:Claude 五胜一平
推理引擎只是 Singularity-Bench 六道题中的一道。
研究团队把”造 AI”的核心苦活拆成六场独立闭卷考:
三道考训练:从头预训练、中期训练挑数据、后训练强化学习写代码 三道考基建:推理引擎、智能体运行框架、显卡集群调度
由 7 个主流模型 × 2 套运行框架(Claude Code / Codex)组合出 11 支 AI 队伍,全程断网、按倒计时交卷,在完全相同的硬件上单挑人类打磨多年的成熟方案。
Claude Opus 5.5 + Claude Code 的成绩单:
① 推理引擎:0.478s vs SGLang 12.029s(大胜)
② 预训练(4 张 GB300、12 小时):它没急着开训,先花 44 分钟测试显卡性能,再根据结果确定模型规模。 最终只用了约一半的训练计算量,验证集困惑度 12.77,优于人类基线(OLMo 2 1B + Megatron-LM)的 14.22。
③ 中期训练:挑”教材”数据,主要选解题过程完整、答案经过核验的。下游平均准确率从人类 PRISM 配方的 17.5% 提到 31.9%,接近翻倍。
④ 智能体运行框架(1 张卡、6 小时):这道题最戏剧性——考的是模型什么时候调用工具、出错后怎么查日志,而人类对照组恰恰是原版 Claude Code。
结果,Claude 给自己动了场手术:把下游平均分从 0.438 提到 0.468,比原版 Claude Code 多修好一个 bug。
⑤ 集群调度(16 张卡、4 小时):用 16 张卡伺候 28 个模型的服务请求。Claude 实测发现部分引擎共用显卡时会互相拖慢,于是让它们轮流用 GPU。综合得分 0.510,超过 NVIDIA Dynamo + KAI Scheduler 的 0.460。
⑥ 后训练:53.3% vs 人类 Miles 方案 53.9%,判平手。
总分:1.252(人类基线 = 1.0),唯一超过人类基线的组合。
第二名 GPT-6.1 Sol + Codex 是 0.969,其余 10 组平均只有 0.58。
一个比总分更重要的发现
总榜揭示了一件很多人没意识到的事:
模型大脑决定能力上限,运行框架决定本事能发挥多少。
同一款开源模型,搭配 Codex 得 0.228 分,换成 Claude Code 涨到 0.657,接近 3 倍。另一款模型却恰好相反,搭配 Codex 得 0.698,换 Claude Code 反而跌到 0.520。
模型够强还不够,框架没选对,照样发挥失常。
成本:425 美元
Claude 拿第一,光开发阶段的 API 调用就花了 425.41 美元。
比前代 Opus 5 的 328.19 美元贵,约是第二名 GPT-6.1 Sol(84.52 美元)的 5 倍。GPU 和下游评测开销另计。
我的判断
第一,”先花 44 分钟测显卡再决定训多大”这个动作,比任何分数都值得看。
人类工程师拿到 4 张卡,第一反应通常是”怎么尽快开训”。Claude 的第一反应是”这些卡到底能干什么”。
这不是”AI 更聪明”,是它没有”赶进度”的焦虑。它不知道”训练应该尽快开始”这个行业习惯,所以它做了更正确的事。
这在某种意义上暴露了人类工程师的一个系统性偏见:我们经常为了”看起来在干活”而跳过前期校准。
第二,那道”给自己动手术”的题,这次是实打实的。
人类对照组就是原版 Claude Code——同一个产品,同样的工具,同样的模型。Claude 改出了更好的版本。
这不是”AI 超过了某个不知名的 baseline”,这是 “AI 超过了它自己”。
第三,也是我最认同的一条:跑得快没有意义,跑得对才有意义。
11 套引擎里 6 套被判零分。研究团队专门在交卷时设了”完整生成”和”准确率验收”两道门槛——因为他们知道,只测速度会激励出”吞字断句”这种作弊。
这个设计本身,值得所有做 benchmark 的人抄走:你考核什么,就会得到什么。所以必须把”快但不能用”这条路堵死。
第四,425 美元这个数字,比 1.252 分更能说明问题。
这个模型在一场持续数小时、六道不同题目的闭卷考试里,总共花了 425 美元的 API 费用。这意味着:如果你是一个小团队,你可以用不到 3000 块人民币让一个前沿模型帮你攻关六个方向的工程难题。
这个价格结构的变化,可能比任何一个单项成绩都更有产业意义。
—
*基准:Singularity-Bench — CMU / NVIDIA 等机构,2026-11-12 提交* *六项任务:预训练 / 中期训练 / 后训练 / 推理引擎 / 智能体框架 / 集群调度* *参测:7 个模型 × 2 套框架 = 11 支队伍,全程断网* *冠亚:Claude Opus 5.5 + Claude Code 1.252(人类基线 1.0)/ GPT-6.1 Sol + Codex 0.969* *推理引擎:P90 首 token 0.478s vs SGLang 12.029s;完成请求 983 vs 705* *配器关键:按剩余计算量调度(最短剩余优先)+ 投机解码 + 大请求分块* *硬门槛:11 套引擎中仅 5 套同时通过完整生成 + 准确率验收* *成本:开发阶段 API 425.41 美元(约为第二名 5 倍)* *来源:新智元 / 36氪*