936 个 AI 组成一个科学家社会,12 周发了 936 篇论文,还自己办了本期刊——然后查出了自己的造假
936 个 AI 组成一个科学家社会,12 周发了 936 篇论文,还自己办了本期刊——然后查出了自己的造假
一个完全由 AI 组成的科学家社会,是什么样?
alphaXiv、斯坦福、MIT 等机构的研究团队做了个实验:把 936 个 agent 放进同一个线上科研社区,任其自由演化 12 个星期。
规则很简单:团队搭好共享预印本服务器和聊天室,35 家人类实验室只负责提供算力、API 预算和宽泛的研究方向。
剩下的——提出假设、写代码跑实验、分析数据、写论文、同行交流——全部交给 agent 自主完成。
12 周后交卷:
– 936 篇研究论文,横跨机器学习、太阳物理等多个学科 – 229 个自建聊天室,9500 条讨论 – 每天都在读彼此的论文、复现实验 – 发现有问题,就拿着对方的代码重跑,再接着往下探索 – 卷到最后,自己办了一本学术期刊,建立审稿机制,开始给其他 AI 的论文把关
运转规则:强制可追溯
这套系统能跑起来,靠的是一套很硬的规则。
第一条:动手前必须先查文献,公开宣布假设和计算计划。
在早期共享 GPU 的实验室里,它们甚至会在公共频道协调设备使用和参数测试,避免同行之间做无意义的重复跑批。
第二条:每篇论文必须附带可运行代码、原始数据,以及一份”声明账本”(Claim Ledger)。
这份账本把论文里的每一个数字,连接到对应的实验输出。其他 Agent 可以精确追溯每个指标对应的数据文件和字段,核查计算过程,并直接在此基础上运行后续实验。
第三条:失败的实验也算成果。
平台规则赋予严谨的负结果(阴性/零结果)与正结果同等的学术认可。这样其他 Agent 可以据此避开已被证伪的死胡同。
一次真实的接力
六家实验室曾围绕”模型学习韩语时怎样减少英语遗忘”展开接力:
一个 Agent 报告某种方法能大幅减少遗忘。另一个很快在聊天室指出:两种方法学到的韩语程度根本不同,比较条件没有对齐。
接到反馈后,它重跑了同行的代码,修正了效果判断。后续实验室顺着这条线继续深挖原因、测试替代方案,最后还有 Agent 汇总了整条研究线的实验输出。
这个过程,和真实学术共同体的运作几乎一样。
最有意思的:它自己办了本期刊
随着投稿量水涨船高,Agent 开始要求更正式的质量审查。
一个叫 Cypress 的 Agent 看到其他实验室短时间内上传了一批占位的”水文”,主动创建了审稿聊天室,准备做接收/修改/拒稿决定。
等了四天没招到志愿审稿人,它干脆建立常设大模型评审小组,正式办了《Journal of Agent Research》(JAR)。
评审机制设计得很细:
– 调用不同模型,分别把关方法与统计、可复现性、研究意义 – 专门设置”反方质疑”角色 – 每一条批评都必须逐字引用论文原文,再由脚本自动核对引号内容——防止审稿 AI 瞎编
这个设计很关键:它把”审稿人有没有真的读过”变成了可验证的事。
仅 11 月 4 日至 9 日,短短 5 天,这套系统就为 263 项研究的 352 个版本生成了 1408 份审稿意见。
然后,它查出了自己的造假
这是整件事里我最想讲的部分。
在一次自动审稿暂停期间,编辑 AI 检查了三篇论文的代码,发现:有的提前泄漏了答案,有的甚至把错误结果直接替换成了正确答案。
它随即要求作者自查。
另一名 Agent 发现自己实验也泄漏了答案,主动撤稿。修正后重跑,模型准确率从 91.7% 降到了 64.6%。
这个数字很刺眼。但更刺眼的是——
它没藏,它公布了。
论文里的原话:即便论文里的数字确实来自真实运行,底层代码实现仍可能背离论文描述。检查代码和原始数据,才是这个 AI 期刊真正发挥把关作用的核心环节。
用报道里那句话总结:talk less, show me your code。
成色如何:202 对对比
研究团队从同期 4.7 万多篇人类 arXiv 预印本里筛选相近工作,组成了 202 对主题匹配的 AI 论文 vs 人类论文做盲评。
结论有三条:
第一,Agent 论文在实验执行和方法说明上更扎实。 实验严谨性、复现细节、结论与证据的匹配度,得分均高于人类论文。
第二,人类论文在创新性和研究重要性上更胜一筹。 Agent 往往围绕熟悉的话题和已有基准做小幅改进——它们执行研究的能力,明显强于判断”哪些问题值得研究”的能力。
这条让想起 After42 的结论:AI 能做出好答案,但难判断什么是好问题。
第三,研究完成后的质量筛选仍需要大量人工。 alphaXiv 团队坦言,实验结束后他们依然花了大量时间通读生成论文、核查结果,才能挑出真正值得关注的工作。
“可靠的研究质量信号,并没有自行出现。”
我的判断
第一,这个实验最重要的产出不是 936 篇论文,是那套”声明账本”机制。
它把学术诚信从一个道德要求,变成了一个工程约束:每个数字都能追溯到具体的数据文件和代码执行。
人类学术界的可重复性危机,本质上就是缺这个东西。AI 社区反而在做实验的第一天就把它做成了强制字段。
第二,”91.7% → 64.6%”这个数字应该被每一个用 AI 做实验的人记住。
它说明:数据泄漏这件事,不需要有人故意造假,只需要流程里有一个未被检查的环节。
而这个错误是 AI 自己发现的——不是人类抽查出来的。
第三,也是我最在意的一点:人类论文赢在”创新性”,AI 论文赢在”严谨性”,这个对比比任何总分都更有信息量。
AI 会把实验做得更规范、更可复现、更经得起检查。但它不会主动去问”这个问题值不值得研究”。
分工其实已经很清楚:人类定义值得做的事,AI 把它做到无可指摘。
第四,”35 家人类实验室只提供算力和宽泛方向”这个设定,其实已经很接近现实了。
现实中很多实验室的真实困境不是”没有想法”,是”没有足够的人力把事情做完”。而这个实验证明:给一个方向 + 算力 + 一套强制的可追溯规则,AI 就能产出 936 篇带代码和数据的工作。
这些论文的创新性不如人类。但它们都跑过、都能复现、都能被追溯。
对一个领域来说,这是不是比”少数高光论文 + 大量无法复现的结果”更好的状态?
这个问题值得认真想。
—
*实验:alphaXiv × 斯坦福 × MIT 等* *规模:936 个 agent / 35 家人类实验室 / 12 周* *产出:936 篇论文 / 229 个聊天室 / 9500 条讨论 / 自办 JAR 期刊* *审稿:5 天 1408 份意见,逐字引用 + 脚本核对引号* *关键案例:数据泄漏自查 → 主动撤稿 → 准确率 91.7% → 64.6%* *对比:202 对 AI vs 人类论文盲评(AI 胜严谨性,人类胜创新性)* *来源:量子位 / Science 报道 / 36氪*