AI写代码省下的时间，全赔在调试上了——Anthropic的解法是：让AI自己出题考自己，还偷偷留了一份”验收卷”

AI写代码省下的时间，全赔在调试上了——Anthropic的解法是：让AI自己出题考自己，还偷偷留了一份”验收卷”

先承认一个很多人不愿意承认的事实：用 AI 写代码，省的是打字时间，赔的是调试时间。

你让 Claude Code 手搓一个小应用，接个 AI 客服。结果客服确实能聊天了，但你沦为了它的全职陪练：回答不准，补一句提示词；解释太啰嗦，再加一条限制。更崩溃的是，每改一句提示词，你都得把常见问题重新问一遍——生怕它顾此失彼，刚修好一个，把原本答对的又改坏了。

这轮对话下来，你省下的那点打键盘时间，连本带利还回去了。

9 月 28 日，Anthropic 官方发布了一份调优指南，核心思路只有一句：反复测试、修改这种活，Claude 也能干。

把它从”测试员”改成”出题人”

传统做法是：你写好提示词 → 反复手测 → 发现问题 → 手动改 → 再手测。这个循环里，你是那个不停跑测试的人。

Anthropic 的思路是把这套东西产品化：把”怎样才算做对”这件事，从你脑子里搬到文件里，变成一套具体的考试题。

一旦规则明确了，Claude 就能自己执行循环——改提示词、跑测试、看结果。在既定目标下确有改善才保留，改完反而退步就撤回。

这一步的妙处在于，它把模糊的”感觉不对”变成了可执行的”评分标准”。你不再需要逐条手测，而是去定义”什么算好”——然后让 AI 照着这个标准自我迭代。

最聪明的一招：留一份不公开的”验收卷”

看到这里你可能会担心一个经典问题：AI 会不会变成应试教育的做题家？只针对你给的那几道题死记硬背，换个问法又开始胡言乱语？

官方显然也想到了，而且解法很扎实。

这套流程会单独留出一部分题，作为不提前公开的”验收考题”。负责提出修改的模型看不到这些题。每轮改完，再用它们测试。

如果练过的题分数涨了，”验收考题”的成绩却没提高——那就说明出现了过拟合：越来越会做熟题，换一批题却没进步。这时候 Claude 会撤回本轮修改。

这个设计和机器学习里的”训练集/验证集分离”是同一个道理，但把它搬到了 Agent 的自我调优流程里。把”考试”和”验收”分开，是这套东西能防止自欺欺人的关键。

效果如何？Anthropic 用一个内部客服评测展示：成本降至约 1/5。

但别高兴太早，有三件事 AI 替不了你

官方文档里有一段很诚实的话，我认为比那个”1/5″更值得读。它列了三件”AI 干不了、必须你来”的事：

第一，洞察用户。 你觉得理所当然的操作，第一次打开应用的人可能连入口都找不到。你得把真实发生的困惑补充进题库，AI 的优化才会接地气。AI 只能在你划定的范围内优化，范围本身错了，它优化得再好也是错的方向。

第二，把控标准。 回答再客气，没解决问题，算不算过关？意思相同只是换了说法，评分器会不会误判？评分标准本身有漏洞的话，AI 忙活半天只是分数涨了，用户的问题还在。

第三，做权衡。 精简会不会漏掉必要步骤？追求便宜会不会牺牲准确度？这些涉及体验的取舍，依然要你拍板。

换句话说：AI 接手的是”执行验证循环”，你接手的是”定义什么值得验证”。 这条分工线，比任何自动化工具本身都重要。

我的判断：这不是效率工具，是瓶颈转移的信号

把这件事往大了看，它的意义远超”一个调优功能”。

Claude Code 团队自己的判断是：瓶颈没有消失，它只是转移了——从”写代码”转移到了验证、代码评审、安全这些环节。

这句话值得反复读。

过去几十年，软件工程所有的流程——写需求、做规划、层层评审、开不完的会——本质上都是因为一个前提：写代码太慢，工程师的时间太值钱。 所以必须用流程去兜住每一次昂贵的改动。

可当 AI 把”写代码”这一环变得又快又便宜，这个前提就不复存在了。而那些围绕”写代码很慢”建立的流程，反而成了新的成本。

这恰好和我前几天聊的另一件事共振：OpenAI 一口气放出 722 篇 AI 数学手稿，两天后撤回 3 篇，因为一个正负号写错。数学界的痛苦是”验证成了新瓶颈”，而 Anthropic 的路子是”让 AI 自己承担验证”。

两条路指向同一个真相：生成变便宜后，验证成了唯一的稀缺资源。

但请记住那条边界

这份指南展示的是 AI 辅助开发的流程优化，不是”AI 已经能独立写软件”。它仍离不开工程师，也没法脱离人做生产级交付。

所以它不是在喊”Agent 要抢工程师饭碗”，但它指的方向很清楚了：

过去，我们一直在教 AI 怎么写代码；现在，要开始教它验证自己写得对不对。

对一个天天要用 AI 写代码的人来说，真正的分水岭是这个瞬间——”下班前还得手动复查一遍”这件事，终于能安心交给 AI 的那天。 那一天到来之前，AI 都还只是帮你打字，没真正开始替你扛活。

而在此之前，你要做的是那三件 AI 替不了的事：说你用户真实的想法、定清楚什么算过关、在成本和质量之间做出取舍。

工具越自动化，你对”标准”的把握就越关键。这是 Anthropic 这份指南没明说、但字里行间都在强调的一点。