GPT-6“看不懂 3D”实锤，250道题只拿0.53分，Claude没及格 - 开云

近期，一段GPT-6 Astra绘制CAD模型的视频在X平台引发广泛关注。

视频中，一个涡轮增压器的每个零件均独立建模，不仅能够顺畅旋转，还可一键拆解并展开，视觉效果令人印象深刻。

一时间，GPT-6 Astra在BenchCAD测试中的得分高达95.9%，评论区已有不少人开始讨论CAD工程师的就业前景问题。

然而，也有工程师对此提出质疑：这些零件没有一个能直接投入生产线。因为画得像，并不代表画得对。

外行看热闹，内行看门道。表面上，模型已能复现CAD的视觉界面，但从专业工程师的角度看，这些模型在科学原理、几何结构以及部件之间的关联上，是否真正准确？是否存在一个专业评测基准，能够检验AI对三维科学对象的观察与理解能力，并评估其生成的三维对象是否符合科学与工程标准？

最近，一个名为ScienceVision的评测基准被发现，它能够像专业工程师一样，对零件的结构关系和几何细节进行逐项核验，判断模型生成的结果是否达标。

ScienceVision的评测范围不仅限于工程制图，还覆盖了生物、化学、医学影像、建筑和机械CAD共5个科学领域、22个子领域，包含250道基于真实三维数据构建的题目。模型需要自主操作三维对象，完成观察、测量与分析。

成绩最好的GPT-6-Astra（搭配Codex）仅获得0.53分。满分1分。

在BenchCAD上拿到95.9分的选手，到了三维科学理解与推理的考场，只勉强及格。

ScienceVision由UniPat AI和视觉推理实验室Elorian AI共同开发，是一个基于专家级视觉问答（VQA）的跨学科视觉三维理解与推理基准。团队透露，其开发的初衷是一个问题：AI能像科学家一样观察和推理吗？

根据现有结果，评测覆盖了GPT-6 Astra、Claude Fable 5.1、Gemini 4 Argon、Qwen3.8 Max等当前最新、最强的12个开源和闭源前沿大模型，没有哪个模型能在五个学科中同时领先。

这些题目究竟有何难度，能让一众模型表现如此不佳？

先看看题目的具体形式。

ScienceVision的演示展示了五个学科各一段检视操作实录。使用的3D工具按照领域专家处理三维源数据的实际操作方式建模，模拟了最真实的3D观察场景。

生物部分的题目是：将整个蛋白质隐藏，只保留一个柠檬酸分子和旁边的几个离子，测量它们之间的距离。

化学部分的题目最短，共8步：框出一个晶胞，利用对称操作观察其如何逐层堆叠。

医学影像部分的题目是：通过CT从三个方向来回切割，寻找肾脏上病灶的边缘位置。

CAD部分的题目是一台叉车，需逐个点开零件，数出相同零件的数量。

建筑部分的题目是：沿着一条坡道测量长度和高差，判断坡度是否超标。

五段演示看下来，就像各领域的人类专家在审核自己领域的3D视觉问题。操作本身并不复杂：旋转、点击、测量，但难点在于每一步都需要先想清楚往哪里转、点什么、量哪里。如果没有扎实的观察、理解和推理能力，很难做出正确判断。

如果只看视频不过瘾，可以亲自尝试。

这五道题的原始文件和检视工具已在ScienceVision的博客上开放。用户可以自己打开题目，切换3D或平面视图，体验如何通过真实的三维检视过程，评估AI的科学观察能力。下方展示了上手实测，大家可以感受一下。

看完题目，再来谈谈为什么要设计这套题。

过去已有不少3D理解与推理基准，涵盖室内场景理解、具身交互、抽象结构推理等方向，但它们主要服务于日常场景感知、机器人操作或工业设计等通用任务。

然而，真正面向科学领域的3D理解与推理基准几乎空白，仅有医学影像和机械工程等少数应用场景的专门基准，且尚未形成体系化的科学3D推理评测。

科学研究过程天然对真实三维世界中的观察、推理能力有要求。

这种能力要求贯穿于不同学科的实践中：化学家需要定位原子、测量几何关系；放射科医生要在不同切片间追踪结构；建筑工程师要切换视角、排除遮挡、确认构件的连接关系。

这些工作没有一项是看一眼图就能完成的。人类科学家需要根据过往经验，决定往哪里看、怎么看、量什么，看完了再用专业知识下结论。放在AI Scientist身上，也是同样的道理。

ScienceVision考察AI的逻辑也一样：题目和数据摆在眼前，模型自己决定看哪里、怎么查。其中的关键类似于“斯坦门茨画线”：画一条线值1美元，知道在哪儿画线值9999美元。这就能看出哪个模型更有水平，而可靠的观察和理解，正是检验的第一步。

在过往科学领域3D理解和推理的评测中，不同学科的问题设定、任务输入和评估方式五花八门。例如，3D文件的格式不统一，渲染出来的交互逻辑也不一样，表达形式更是各异。

ScienceVision要填补的正是这个空白，打造一个统一的跨学科3D视觉理解评测。

ScienceVision涵盖五个学科：生物学、化学、医学影像、机械CAD和建筑学。每个学科50道题，共250道，横跨22个子领域。

每道题由四部分组成：一份真实的3D源数据（分子坐标、CT体数据、机械装配体或建筑模型），一个领域问题（看什么、在哪找、用什么单位和坐标），一份作答要求（返回什么、什么格式），再加一个专家标好的参考答案。

答案用确定性规则核验，不使用语言模型当裁判。没有“大致正确”这回事，到了就是到了，没到就是没到。

一个带确定性校验的基准，其实还有一层潜力：它几乎可以原地变成一个强化学习环境——答对给奖励，答错不给，不需要另一个模型当裁判。

不过，出这套题本身是一件极其困难的事。

首先，要选出科学上有意义、确实依赖三维证据的问题。构题需要从具体科学对象出发，明确观察目标、判定条件和所需证据，并确认题目能够在给定环境中解答。每道题都要同时满足专业上成立、视觉目标清楚、答案可以复核。

其次，要让不同领域的数据都能被正确观察和测量。分子坐标、CT体数据、机械CAD和建筑模型具有不同的格式、尺度、坐标约定和操作方式。转换与展示过程中，需要保留关键结构信息，并提供适合各类对象的查看、隔离、切片和测量能力。

最后，要依靠领域专家建立可信的答案和证据过程。专家需要检查问题真实性和相关性，实际观察对象、计算或确认答案，记录关键步骤，并参与审核与返修。五个领域的专业规则不同，这些工作需要相应领域的知识和经验。

整套流程是机器和人接力完成的。

先由自动化管线出题：从三维资产库里挑选适合出题的对象，试一下在查看器里能否正常查看和测量，再按模板生成候选题，过一遍规则筛选，打包。

然后专家接手：在3D标注平台上审题、改题，亲自上手旋转、隔离、测量，写下参考答案，操作轨迹顺手录下来，最后再过一道质量审核，不合格的打回。专家打回的意见又反过来喂给题管线，让它下一轮少犯同样的错。

造题、专家审核、自动修题、改进管线，一圈一圈转下来，才有了这250道题。

最终，这套题的质量靠的是人。

UniPat AI搭建了覆盖五个领域的专家平台，维护66名领域专家，累计投入482.98小时。其中化学113小时，机械CAD116小时，医学影像103小时，建筑77小时，生物74小时。

专家们审查问题、标注答案、记录操作过程，并参与多轮审核与返修。

这恰好呼应了ScienceVision的核心定位：它要测的是AI有没有专家级的观察能力，所以答案本身需由专家建立才更有说服力。

前面演示中的操作记录，250道题每一道都附带了，而且逐步保存了关键帧。

这些记录把科学观察从一个只看得到结论的黑箱，变成了可以逐步回放的过程。将来要训练AI学会“看”，这就是现成的对标数据。

考法上，ScienceVision在同一套250道题上比较了三种证据获取方式：

第一种，给模型原始三维数据，让它自己写代码分析。相当于给了全部原始实验数据，让模型自己算。

第二种，在数据基础上再给一套交互检视工具，可以旋转视角、隔离结构、切片浏览、测量距离和角度。相当于不仅给了数据，还给了模型一台显微镜。

第三种，只给六张固定角度的二维渲染图。看模型能从照片里看出什么。

三种方式用同一套评分标准。

这就可以直接回答一个问题：数据更多、工具更全，模型的表现到底会不会更好？

来看结果，最高分0.53（GPT-6-Astra搭配Codex），刚过满分的一半。而且这还不是答对率，它是包含部分得分的平均指标，真正完全答对的比例还要更低。

学科之间的差异比总分更有意思。

没有哪个模型五科全优。GPT-6 Astra在建筑、机械CAD和化学三科领先（0.458、0.580、0.609），生物被Claude Fable 5.1以0.650超过，医学影像则是Claude Opus 5.5以0.399领先。

CT本来就是一叠切片，放射科医生读的也是切片，模型训练时见过海量的二维医学影像。

但一个带轴序和体素索引的三维数组，模型就没有那么熟悉。

只给六张固定角度的渲染图，分数掉得更狠：最好的Claude Fable 5.1也只有0.30，GPT-6 Astra 0.25。

换句话说，给照片，模型看不出来；给三维数据，分数是上去了，但论文自己提醒，这些分可能是代码从坐标里算出来的，算不算“看见了”还两说。

扎心的是，给了工具也一样。

榜单前五的模型里，加上交互检视工具后涨得最多的GPT-6.1 Sol也只涨了0.02，GPT-6 Astra两种设置差不到0.01，Claude Opus 5.5还掉了0.02。

论文里还有个细节：即便在工具模式下，模型照样会去读原始坐标文件。也就是说，给它一台显微镜和一张数据表，它选数据表。

医学影像是最意料之外的，模型的操作次数是专家的三倍左右，得分却是五个学科里最低的。

这说明当前的前沿模型即使获得了最充分的3D数据和工具支持，面对真实科学任务的观察与推理，也还差得很远。

点得多，不代表会观察、会推理。

在ScienceVision之前，科学多模态评测不是没有，但大多只管一个学科，只看二维图片，评分规则也各搞一套。

ScienceVision的独特价值，可以归结为三件事：

第一，题是真三维的。模型拿到的是分子坐标、CT体数据、机械装配体、建筑模型这样的源文件，不是平面截图。答题得用领域知识去解释三维结构证据，有些题还要先从观察里把目标认出来，再接上拓扑和几何推理，一环扣一环。

第二，工具是照着专家工作流做的。视角切换、目标隔离、切片浏览、科学测量，这些检视操作通过MCP开放给模型，具体能做什么随查看器而定。看哪、怎么看、量什么，模型自己决定，没人替它挑证据。

第三，评分是确定性的，五个学科同一套。每道题有参考答案和预设规则，答案的各个组成部分分开核验，再按模型配置和学科汇总得分。不靠另一个模型打分，化学分子和建筑构件的成绩，第一次能放到一起比。

与之最相关的SciVisAgentBench同样支持三维交互检查，但评测目标不同：

ScienceVision在五个学科中都采用同一类问题，即受领域知识约束的结构性问题，加上结构化的领域问题和逐题参考答案评分，SciVisAgentBench则主要围绕科学可视化软件中的任务展开，评估Agent生成的可视化与分析结果是否符合任务要求。

可以说，ScienceVision第一次在统一框架下衡量出了AI三维科学观察的能力边界。

知道差在哪，才知道怎么追。

下次再有人宣布“AI科学家来了”，可以先让它做完这250道题再说。

本文来自微信公众号“新智元”，作者：ASI启示录，36氪经授权发布。