250 道题，最强的模型只拿 0.53 分：AI 会画 3D，但它根本”看”不懂 3D
AI飞行客 250 道题，最强的模型只拿 0.53 分：AI 会画 3D，但它根本”看”不懂 3D
先看两组分数，都是同一个模型。
BenchCAD 基准，95.9%。 GPT-6 Astra 画 CAD 的视频曾在 X 上火过：一个涡轮增压器，每个零件单独建模，能正常转动，还能一键原地拆解展开。评论区一片”CAD 工程师要失业了”。
然后有个工程师来泼了盆冷水：这些零件，一个都别往生产线送。
理由很简单——画得像，不等于画得对。
现在有数据了。
ScienceVision 基准，0.53 分。 满分 1 分。同一个 GPT-6 Astra，还是配上 Codex。
而且这 0.53 是含部分得分的平均指标，真正完全答对的比例还要更低。
从 95.9 到 0.53，中间差的不是分数，是”视觉复刻”和”科学理解”之间的整条鸿沟。
这 250 道题，是让 AI 当科学家，不是当画师
ScienceVision 由 UniPat AI 和视觉推理实验室 Elorian AI 联合构建，覆盖生物、化学、医学影像、机械 CAD、建筑五个学科，22 个子领域，250 道基于真实三维数据构建的题。
题目的形式值得说清楚。每道题由四部分组成：一份真实 3D 源数据（分子坐标、CT 体数据、机械装配体、建筑模型）、一个领域问题、一份作答要求、一个专家标好的参考答案。
模型拿到手之后要干什么？看五个 demo 就懂了：
– 生物：把整个蛋白质藏起来，只留一个柠檬酸分子和旁边几个离子，量它们挨得多近 – 化学：框出一个晶胞，用对称操作看它怎么一层层堆下去——8 步 – 医学影像：CT 从三个方向来回切，找出肾脏上那个病灶的边界在哪 – 机械 CAD：一台叉车，零件一个个点开，数有几个长得一样 – 建筑：顺着一条坡道量长度和高差，看坡度超没超标
动作本身都不复杂：转、点、量。
难点在于——每一步都得先想清楚往哪转、点什么、量哪里。这不是看一眼图就能答的题，是要有扎实的观察、理解、推理才做得出来的判断。
66 位专家、483 小时、机器和人接力造题
这套题的造价，值得单独说一段。
流程是机器和人接力完成的：
先由自动化管线出题——从 3D 资产库里挑出适合出题的对象，验证在查看器里能不能正常看、能不能量，按模板生成候选题，过规则筛选，打包。
然后专家接手——在 3D 标注平台上审题、改题，亲自上手转、隔离、测量，写下参考答案，操作轨迹顺手录下来，最后再过一道质量审核。不合格的打回，返回的意见又喂回给管线，让下一轮少犯同样的错。
66 名领域专家，累计投入 482.98 小时。 化学 113 小时，机械 CAD 116 小时，医学影像 103 小时，建筑 77 小时，生物 74 小时。
250 道题，每一道都附带了专家逐步操作的关键帧记录。
评分是确定性的。答案用规则核验，不用语言模型当裁判。没有”大致正确”这回事——到就是到，没到就是没到。
这一条很重要。它意味着化学分子和建筑构件第一次能放在同一把尺子上比。
三种考法，暴露了最要命的一件事
ScienceVision 在同一套 250 道题上，比较了三种证据获取方式：
1. 只给原始三维数据，让模型自己写代码分析 2. 数据 + 交互检视工具，可以旋转视角、隔离结构、切片浏览、测量距离角度 3. 只给六张固定角度的二维渲染图
第三种最惨：最好的 Claude Fable 5.1 只有 0.30，GPT-6 Astra 0.25。
给照片，模型基本看不出来。
那给工具呢？
这才是最扎心的地方。榜单前五的模型里，加上交互检视工具后——
– 涨得最多的 GPT-6.1 Sol，只涨了 0.02 – GPT-6 Astra 两种设置差不到 0.01 – Claude Opus 5.5 还掉了 0.02
论文里还记了一个细节，比所有分数都更能说明问题：
> 即便在工具模式下，模型照样会去读原始坐标文件。也就是说，你给它一台显微镜和一张数据表，它选数据表。
这句话值得所有做多模态产品的人抄在本子上。
模型的”看”，本质上是把三维结构降维成一堆它能处理的数字，然后再从数字里算答案。它不是在观察，它是在解码。
给它工具让它转视角、切切片，它不会觉得自己需要转——因为对它来说，坐标文件里有全部信息，转视角只是换个角度再读一遍同一个东西。
各科分数，藏着不同的问题
没有一个模型五科全优。
| 学科 | 领先模型 | 分数 | |—|—|—| | 机械 CAD | GPT-6 Astra | 0.580 | | 化学 | GPT-6 Astra | 0.609 | | 建筑 | GPT-6 Astra | 0.458 | | 生物 | Claude Fable 5.1 | 0.650 | | 医学影像 | Claude Opus 5.5 | 0.399 |
医学影像那栏最值得琢磨。
这是五科里分数最低的（0.399），但模型的操作次数是专家的三倍左右。
点得多，不代表会观察。这几乎是所有 Agent 类应用的通病——动作量大不等于决策质量高。
为什么医学影像反而最差？论文给了一个很合理的解释：CT 本来就是一叠切片，放射科医生读的就是切片，模型训练时见过海量二维医学影像。
但一个带轴序和体素索引的三维数组，模型就没那么熟悉了。
它认得图像，不认得体数据。
我的判断
第一，”会画”和”会看”是两种完全不同的能力，而且前者从来不能推出后者。
CAD 那个 95.9 分，测的是”能不能生成看起来对的东西”。ScienceVision 那个 0.53，测的是”能不能从真实三维数据里得出正确的科学判断”。
前者是生成，后者是观察 + 推理。在视觉领域，生成一直比理解容易——因为生成可以靠模式匹配，理解必须有结构。
这个道理在图像上早就验证过了：能画出逼真的人脸，不等于理解人脸的三维结构。
第二，”给工具反而不用工具”这个行为，是所有 Agent 产品的共性风险。
你给 Agent 配了浏览器、给了搜索、挂了数据库、接了工具链——但它可能一次都不调用，而是拿它最熟的那条路径（读上下文、算 token）去硬解。
工具的意义不是”有”，是”该用的时候会用”。
而判断”该用的时候”，恰恰需要的是对任务本质的理解。这个能力，从这 250 道题的分数看，还远没到。
第三，这套基准最长期的价值，可能不是评分，是数据。
250 道题，每道都有专家逐步操作的关键帧记录。这些记录把”科学观察”从一个只有结论的黑箱，变成了可以回放的过程。
而且因为评分是确定性的（答对给奖励，答错不给），它几乎可以原地转成一个强化学习环境——不需要另一个模型当裁判。
换句话说，这个 benchmark 现在用来打分，将来可能用来训练。
第四，也是我最想说的：下次再有人宣布”AI 科学家来了”，先让它做完这 250 道题。
不是因为这套题有多难，而是因为它问的是最基础的问题：你能不能自己决定往哪看、怎么看、量什么？
这才是科学观察的起点。连这个都做不到的时候，谈”AI 独立做科研”，还早。
—
*基准：ScienceVision — UniPat AI × Elorian AI* *规模：5 学科 / 22 子领域 / 250 道题 / 66 位专家 / 482.98 小时* *最高分：GPT-6 Astra + Codex = 0.53（满分 1）* *关键发现：工具模式提升 ≤0.02；模型仍倾向直接读原始坐标文件；医学影像操作次数为专家 3 倍但分数最低* *对照：BenchCAD 同一模型 95.9%* *来源：新智元 / 36氪*