40分到100分,何恺明只做了一件事:把AI的眼罩摘了——VISTA正在打脸整个行业的”越大越强”迷信

40分到100分,何恺明只做了一件事:把AI的眼罩摘了——VISTA正在打脸整个行业的”越大越强”迷信

同一个 Claude Opus 5,在 ARC-AGI-3 官方考场只拿 40 分。何恺明团队没动模型一个参数,没训一个新网络,只是给它摘掉眼罩、递上一本相册——它就把 25 个公开游戏全部打穿,满分 100。

这事在 X 上炸了,是有原因的。因为它戳破了一个大家心照不宣、但没人敢公开否认的假设:智能的进步,必须来自模型本身。

过去两年,整个行业的钱和 GPU 都砸在同一个方向——把模型做大、把推理拉长、把上下文撑到百万 Token。VISTA 论文用一组冷冰冰的实验数据说:你们可能卷错了地方。

先说清楚:AI 被”蒙着眼睛”考了半年

ARC-AGI-3 是 Keras 之父 François Chollet 和 ARC Prize 基金会今年 3 月出的 AGI 考卷。一堆交互式像素小游戏,开局零说明、零规则,全靠玩家自己摸。

评分极其苛刻:官方找了近 500 名人类小白实测,AI 不光要通关,步数还不能比人类多,才能拿满分。

问题出在哪?官方考场递给大模型的,只是一张 64×64 的数字表。人类眼里的小人、机关、路线,到模型那里只剩 4096 个数字。

打个比方:这相当于让你闭着眼,听别人报坐标去玩《超级马里奥》。

VISTA 做的第一件事朴素得有点可笑——把数字表换回图片。别的什么都没动,GPT-5.6 Sol 的分数当场从 13.33 分跳到 47.32 分。

更讽刺的是成本:一个数字格子要吃掉约 4000 个 Token,一张 512×512 的图片只要 308 个。跑完一局,文本版烧掉 7190 万 Token,图片版只要 3070 万——分数更高,还更省钱。

第二刀:给 AI 一本”不会失忆”的相册

光能看见还不够。一局游戏动辄几百步,多模态模型的老毛病是:图片看一遍,上下文一满就删,或者被压成几句文字摘要。等模型想回头核对细节,那一帧早灰飞烟灭了。

VISTA 的杀招是一本无损视觉记忆相册。每一帧画面连动画帧在内按编号原样存档,模型想看哪帧就调 `inspect` 翻出来,几帧并排对比、角落放大、`read_pixels` 读精确颜色都行。翻相册不算步数,只有真在游戏里操作才计步。

论文里有个极度”像人”的瞬间:BP35 第 3 关出现橙色方块,模型点了一下,橙块变成 X。它先停下来,把上一回合最后一帧和刚才三帧动画调出来并排回放,几回合后自己写道:”这就是我要的工具,用它搭天花板,挡住会要命的上升。”这一关,人类第一次玩要走 44 步,它只用了 34 步。

最狠的部分:它把两个”常识”当场证伪了

如果你觉得”那就多给上下文、多给像素不就行了”——恭喜你,和大多数人的第一反应一样。论文把这两招都测了:

上下文从 200K 开到 780K,每局 Token 从 3070 万涨到 1.057 亿,成绩反而从 99 分退到 93.9。

图片从 8 倍放大到 16 倍,每帧 Token 涨到 1229 个,成绩只剩 88.3;只放大 4 倍反而有 99.7,比默认还高。

论文的解释很直白:图片太大,多出来的 Token 白白占掉上下文,模型并没有因此看得更明白。

这就是 VISTA 最值得抄的地方——整套设计刻意追求极简。系统里没有一个新训练的模型,每个游戏的提示词都是同一份,一共四句话,没有一个字教它具体怎么玩。

程序派卷了一整个夏天,它写三句话就追平了

这个夏天,刷爆 ARC-AGI-3 的高分方案(比如 Tycho、Schema)走的都是同一条路:让大模型给每个游戏写一套能跑的程序,硬造一个模拟器反复试错。光跳棋游戏 LF52 一个,Schema 就写了整整 4000 行 Python。

而 VISTA 里的模型,只用自然语言在笔记里写了三句话,就搞定了同样的规则。论文称它是第一个不靠写程序、就在 ARC-AGI-3 上做到满分或近满分的系统。

这一点放到游戏之外才真正要命:真实世界里,没有谁能提前给你写好一套 4000 行的模拟器。

最终成绩:Claude Opus 5 打通 25 个游戏全部 183 关,每个游戏都是 100 分,总共走了 7302 步,只有人类的 0.43 倍;GPT-5.6 Sol 同样全部通关,拿到 99 分。m0r0 这关人类要走 1107 步,Claude 只用了 219 步。

而且这套纯机械、零训练的 Harness 极其泛用:塞进带透视的 3D 画面拿下 84.12 分;套上 GPT-5.6 Sol 扔进 34 个网页游戏(马里奥、2048、我的世界都有),任务成功率 63.3%,压过人类小白(55.3%)。哪怕是用官方实现几乎交了白卷(1.89 分)的 320B 开源模型,套上 VISTA 后被硬生生抬到 66.93 分——暴涨 35 倍。

一年三篇,何恺明在赌一件反主流的事

ARC 测试的主流解法,一直是被大语言模型垄断的文本推理。何恺明团队偏不信邪,一年连发三篇,死磕同一个判断:ARC 是视觉问题。

– 第一篇 VARC:1800 万参数的小号视觉模型从零训练,纯看图就追平人类平均分; – 第二篇 NAT-ARC:先让模型在 ImageNet 上看猫看狗补课,抽象推理跟着变强; – 第三篇 VISTA:小模型都不练了,直接给前沿大模型配上一双眼睛和一本相册。

串起三篇论文的是何恺明的博士生胡珂雅(本科上海交大 ACM 班,三篇里两篇一作)。曾经靠 ResNet 和 MAE 封神的何恺明,这一次把视觉路线一路推进了 AGI 考场。

我的判断:这是”模型外智能”的第一个硬证据

ARC Prize 联合创始人 Mike Knoop 有个判断值得记住:越来越多的”学习”,会发生在模型权重之外。

VISTA 让同一个 Claude 从 40 分到满分,靠的不是更大的模型,而是模型外面的一双眼睛和一本相册。这在过去两年”堆参数、堆推理、堆上下文”的行业叙事里,是一次相当扎眼的逆行。

对做工程的人,这篇论文的价值比任何 benchmark 排行榜都实在,因为它给了三条可以直接抄的结论:

1. 输入表示(representation)比模型规模更值得优化。同一帧画面,数字表和图片差了 34 分,而换表示的成本比换模型低几个数量级。 2. Agent 的”记忆”不该是压缩摘要,而是可无损回查的原始帧。上下文一满就删,是当前多模态 Agent 最被低估的性能杀手。 3. “给更多”往往是错的。上下文翻 4 倍、像素翻 2 倍,成绩全都下降——这是对”暴力堆资源”路线最直接的证伪。

何恺明团队的下一站,是充满真实画面的具身环境——那里没有人会提前把世界翻译成一张数字表。而这恰恰说明,VISTA 指出的问题,可能才是通往 AGI 路上真正没被解决的那个。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注