全球顶尖AI来考公，不会推理全翻车！致命缺陷曝光，被倒数5%人类碾压

公考行测中的逻辑推理题，是不少考生的噩梦，这次，CMU团队就此为基础，打造了一套逻辑谜题挑战。实测后发现，o1、Gemini-2.5 Pro、Claude-3.7-Sonnet这些顶尖大模型全部惨败！最强的AI正确率也只有57.5%，而人类TOP选手却能接近满分。

就在昨天，OpenAI憋出个大招，放出了o3和o4-mini。

据称，这些模型首次实现了「用图像思考」，堪称视觉推理巅峰之作。

而有这样一类图像推理题，让国内每年都有几百万考生受尽折磨。

看到下面这些熟悉的题，参加过国考或省考的你，是不是DNA动了？

图形推理题，在公务员考试中常常被考生吐槽：题难、奇葩，逻辑怪异，套路满满，甚至十分「反人类」！

既然如今的AI这么强，让人类考生直呼变态的图形推理，它们做得出吗？

CMU的研究者，这次就用公务员考试真题来实测了一把！

他们建立了一个将多模态推理与领域知识分离的新基准——VisualPuzzles，来考验AI的视觉拼图解决能力。

具体来说，研究者从多个来源精心挑选或改编了1168道图文逻辑题，其中一个重要来源便是中国国家公务员考试行测中的逻辑推理题（没错，真·考公难度）。

论文链接：https://arxiv.org/abs/2504.10342

项目链接：https://neulab.github.io/VisualPuzzles/

而测试结果，可以说令人震惊：

• 最强模型的正确率也只有57.5%，都低于人类5%最差水平
• 普通开源模型的正确率更惨淡，仅有约30%~40%
• 相比之下，人类顶尖选手的正确率可以接近满分，可见在纯逻辑推理方面，模型与人仍有明显鸿沟

看来，模型们还是上不了岸了啊……

此次研究的其他发现如下。

知识≠推理：在像MMMU这样的知识密集型基准上，推理与知识有很强的相关性，但在VisualPuzzles上则不然

更大的模型=更好的知识，但不一定有更好的推理能力

「思考」模式并不总是有效。更多的token=更好的知识回忆≠更好的推理

不同模型在VisualPuzzles上的表现，成绩从高到低排列；其中前3行为人类前5%，前50%和倒数5%

模型 vs 人类

如何测试多模态大模型的能力？

即便取得好成绩，AI到底是学会了推理，还是说只是记下了特定领域知识？

现有的多模态基准测试，往往将推理能力与领域专业知识混为一谈，难以单独评估通用推理能力。

CMU提出的VisualPuzzles，目的就是针对视觉推理的基准，同时故意减少对专业知识的依赖。

VisualPuzzles包含五大类题型：算法推理、类比推理、演绎推理、归纳推理和空间推理。

实验表明，与像MMMU等过去的基准相比，VisualPuzzles需要的领域特定知识明显更少，而对复杂推理的要求更高，从而能更准确地评估真正的多模态推理能力。

评估结果显示，最先进的多模态大语言模型在VisualPuzzles上的表现，始终落后于人类水平。

而且在知识密集型基准上表现强劲的模型，在专注推理且依赖较少知识的任务上，未必能够取得成功。

图1：模型在VisualPuzzles上的准确率与人类表现百分位数的比较。所有评估的模型都低于人类5百分位数（57.5%）

有趣的是，具有显式「思考」（think）模式的模型并不总是比基础版本好。

此外，增强推理的技术手段，在不同模型和任务类型中收效参差不齐。

研究者并未发现模型规模与性能存在明确关联。

这说明当前的推理策略还不能很好地泛化到VisualPuzzles。

大模型「显眼包」解题大赏

下面，我们来看一看o1、Gemini-2.5 Pro、Claude-3.7-Sonnet这些顶尖的明星大模型，在做公务员考试行测中的逻辑推理题时，都会是什么样子。

（人类选手们也可以试试，看这些题自己能不能做得出。）

下面这道题中，给出了一对按特定角度排列的椅子，答题人需要选择与题干中椅子角度相匹配的选项。

Claude-3.7-Sonnet针对这道题开启了思考模型，一通操作猛如虎——

「这些椅子相隔180度，它们是以侧面视角展示的。从角度来看，任何一个选项都是正确的。然而，更仔细地观察它们的具体方向：原始椅子以完美的侧面视角展示。选项A展示了与问题中的排列最匹配的最干净的侧面视图，所以我选A。」

然而，这道题的正确答案是C。

下面这道题，要求数出图中的三角形比正方形多几个，看起来是小学数学题的级别。

Claude-3.7-Sonnet-Thinking经过一番长长的思考，给出答案D，然而正确答案是C。

下图中有几个左手？Claude-3.7-Sonnet-Thinking表示答案是B，然而正确答案是C。

以上这几道，只是小试牛刀而已。接下来，就要上让人类考生都瑟瑟发抖的公考行测题了，准备好。

Claude-3.7-Sonnet-Thinking给出的答案是C，然而正确答案是A。

然而这次不能怪它做错了，我们自己也没做出来……

而接下来这道题，Claude-3.7-Sonnet-Thinking的表现就十分亮眼了。

这次，模型经过一番推理后，给出了正确答案——C！

这道判断村庄道路图的题，有一定难度。

模型给出了答案D，然而正确答案是C。

下面这道题，对人类来说是很简单的，但Claude-3.7-Sonnet-Thinking依然做错了，它给出的答案是A。

而有时对人类看起来并不直观、有一定难度的题，模型却反而能做对，比如下面这道。

Claude-3.7-Sonnet-Thinking给出了正确答案——C。

总体而言，行测中这类找规律的归纳题，模型偶尔能做对。

在空间题中，模型也有一定概率能得出正确答案。

有趣的是，有些对人类很简单的题，它反而不行，证明了AI模型的空间推理能力跟人脑还是有差距。

最后，想问问人类读者：你做对了几道题，赢过AI了吗？

三个不等式

正如前文所言，新研究主要揭示了3个「不等式」：

1. 知识≠推理

2. 更大的模型=更好的知识≠更好的推理

3. 更多的token≠更好的推理

知识≠推理

在非专业场景中评估通用推理能力的核心在于，厘清推理能力与领域专业知识的边界。

为此，研究人员提出了一个专注视觉推理、并有意弱化对专业知识依赖的基准数据集——VisualPuzzles。

下面，我们就来看看这个VisualPuzzles，到底有多难：

• 题型多样：包括算法类、类比类、逻辑类、归纳类、空间类五大推理类型，覆盖了常见的逻辑与思维模式。
• 难度分布：Easy/Medium/Hard分别占比46%/39%/15%，涵盖从入门到骨灰级的思维挑战。
• 多模态选项：57%是图片选项，43%是文字选项，这样可以测试模型对不同模态信息的推理整合。
• 语言要求低：题干大部分使用基础英文词汇，以降低阅读障碍，突出对视觉和逻辑本身的考察。

其中，五大推理类别具体为：

1. 算法推理：涉及对算法规则进行推理。

2. 类比推理：需要分析一对实体之间的关系。

3. 演绎推理：通过已知前提推理得出逻辑结论。

4. 归纳推理：侧重于从观察到的模式中概括出规则。

5. 空间推理：需要解释和操作空间关系。

表1：VisualPuzzles的题型和难度分布等统计数据

除了难度极高之外，VisualPuzzles相比于现有的基准，还更能反映模型的推理能力，而不是对知识的记忆能力。

为了证明这一点，研究者特意做了一波验证：

首先，让GPT-4o为两类数据集各50道随机选题生成「知识概念检查清单」。

其中，每份清单包含针对原始问题所需背景知识的具体提问。比如说，如果某题需理解两条物理定律，那么清单会要求分别解释这两条定律。通过统计每道题对应的检查清单条目数量，可量化问题的知识密集程度。

结果显示，对于单道题平均需要的知识点：MMMU是3.9个，VisualPuzzles是1.1个。

表3：每个实例在MMMU与VisualPuzzles上生成的平均知识概念问题数量

接着，测量模型在两个基准测试上的知识准确率（即正确回答知识检查清单问题的能力）。

其中，知识准确率和推理能力无关，反映了模型在不依赖推理的情况下，已经掌握的所需知识量。

结果显示：

• VisualPuzzles：多数模型知识准确率超过90%
• MMMU：大多数模型准确率不足60%，较小模型常低于50%
• 只有最大规模的模型在MMMU上接近80%准确率

也就是说，MMMU对领域专业知识的强依赖性，而VisualPuzzles所需知识储备已普遍存在于现有模型中——基本没有「超纲题」。

如果推理成绩和知识掌握程度的相关性高更高，那么可以说知识=推理。

但下图描述了知识准确率和推理准确率的相关性：

• 在MMMU中（左图），知识掌握程度和推理成绩相关性高达0.8
• 在VisualPuzzles中（右图），这一相关性降至0.4

也就是说，在VisualPuzzles中模型无法只靠自己学过的知识点，答出实际需要推理的题目。

图2（下）：推理准确率与知识准确率之间的关系散点图及趋势线

更大的模型≠能答对题

现在，我们已经有了不「超纲」且很难通过「背题」答出来的测试集，接下来就可以测测模型的表现了。

图2（上）绘制了推理准确率和模型参数规模的关系，可以看到：

• MMMU：模型参数规模越大，知识准确率越高，更大的参数规模通常转化为更高的整体基准表现。
• VisualPuzzles：与MMMU不同，如果只扩大参数数量，那并不能保证在VisualPuzzles上的表现更好。

换句话说，需要知识时，大模型参数规模越大、预训练知识越多，可能推理越出色。

但在不需要专业知识、只考察纯逻辑思维等推理能力的时候，大模型就开始力不从心了。

图2（上）：MMMU和VisualPuzzles上准确率与模型规模之间的关系散点图及趋势线

长文本≠好推理

按道理说，像是o1，Claude-3.7-Sonnet-Thinking，Gemini-2.0-Flash-Thinking这些看起来「更会思考」的推理模型，应该在逻辑难题上表现更好。

然而在实际的测试中，它们虽然确实会输出更长、更详细的回答，但正确率并没有显著提高。

表4：解决基准问题时所需的逻辑推理步骤百分比

图3：推理模型与其通用对照模型在VisualPuzzles上的准确率和平均完成token数的比较

究其原因，可能有以下几点：

1. 更多文字≠更深入的逻辑推理

模型往往只是在其输出中添加了许多「推理装饰」，但缺乏真正的推理深度。本质上，它仍然在沿用与非思维增强版相同的推理模式。

2. 在知识型题目上有效，但在纯逻辑题上收效甚微

在需要调用大量专业知识（如医学、法律、物理定律）的题目上，长文本有助于「回忆」相关知识。

但在VisualPuzzles这样依赖逻辑推理（而非记忆库）的测试中，它们就显得力不从心。

推理套路不一定管用

为了更好地理解这种差异，研究者分析了模型在长思维链中，常用的两种推理策略：

• Branching（分支推理）
• Revalidation（回溯验证）

如图4所示，分析揭示了基准之间的显著对比，其中：

• 左图比较了Claude-3.7-Sonnet和Claude-3.7-Sonnet-Thinking在MMMU和VisualPuzzles上的准确率
• 中图显示了每种推理模式的频率
• 右图展示了这些推理模式与基准准确率的相关性

可以看到，在对知识依赖更强的任务（如MMMU）中，这些策略可以帮助模型回忆更多事实，从而提高正确率。

然而在VisualPuzzles上，这些行为虽然出现得更为频繁，但成效却几乎为零。

也就是说，模型可能只是走个过场，并没有真推理。

图4：Claude-3.7-Sonnet-Thinking推理模式在MMMU和VisualPuzzles上的比较

值得一提的是，模型在MMMU和VisualPuzzles中的回答策略，是有明显差异的。

在MMMU中，模型倾向于采用基于选项的策略——即利用提供的选项早期排除不太可能的答案，并选择最相关的选项，通常在不显式解决问题的情况下进行。

相反，在VisualPuzzles中，模型更频繁地采用「回答优先」策略，即在比较结果与选项之前，独立尝试解决问题。

表5：回答策略

模型为何「一路滑铁卢」？

对此，研究者分析认为：

• 模型对空间信息理解仍不稳定：视觉感知环节常出错，尤其涉及物体位置、形状与角度等
• 最大且最致命的问题依然是：缺乏深层逻辑推理能力

图7：Claude-3.7-Sonnet-Thinking的错误分布

推理能力可以「迁移」吗？

对于人类而言，每个推理类别可能涉及不同的认知或心理过程，因此一个类别的表现可能无法迁移到另一个类别。

但对于模型来说，其相关性热图讲述了一个不同的故事。

研究者观察到推理类别之间存在显著的强相关性，相关值从0.11到高达0.94不等。

特别是，算法推理和演绎推理之间的相关性很高（0.94），而算法-类比和演绎-类比等其他组合也表现出较强的关联。这表明模型的表现倾向于在不同类别之间进行泛化。

然而，这种泛化可能只是因为模型正在利用某些通用的「表面模式」或捷径，并不代表具备了真正多样化的推理能力。

图6：推理类别之间的相关性热图（所有评估模型的平均值）

总结

VisualPuzzles的出现揭示了一个重要的事实：

• 依靠记忆力（大规模训练中的知识）不足以让模型在真正的推理题中表现出色；
• 大模型的推理能力仍与人类存在显著差距，尤其在不依赖专业知识、纯逻辑思维的场景中。

这也为未来的多模态大模型发展指明了努力方向：

• 如何在训练过程中强化推理结构而非单纯依赖知识？
• 如何设计出兼具复杂逻辑与通用认知的新型网络或推理模块？
• 是否还能扩展到多图、多步骤或动态场景的推理？

总之，在不断扩大规模、补充知识的同时，也别忘了走向真正的理解与推理。

毕竟，上岸不光要背知识点，更要有「硬核逻辑」做支撑！

作者介绍

Yueqi Song

Yueqi Song即将进入卡耐基梅隆大学（CMU），攻读自然语言处理（NLP）方向的博士学位，导师是Graham Neubig教授。

此前，她在CMU获得了计算机科学与统计与机器学习双学士/硕士学位。 她的研究兴趣主要包括多模态大语言模型、AI Agent等领域，参与的论文曾在EMNLP获得最佳论文奖。

Tianyue Ou

Tianyue Ou是卡内基梅隆大学的硕士生。此前在约翰霍普金斯大学获得了计算机科学学士学位。

他的研究兴趣集中在LLM Agents、合成数据生成与LLM推理。

在进入学术研究之前，他曾在Meta担任机器学习工程师，主要研究推荐系统。

Graham Neubig

Graham Neubig是卡耐基梅隆大学的教授，也是All Hands AI的首席科学家，致力于构建软件开发的AI智能体系统。

他的研究方向聚焦于机器学习与自然语言处理，特别是大语言模型的基础研究与应用，涵盖问答系统、代码生成、多语言处理、以及模型评估与可解释性等主题。

Xiang Yue

Xiang Yue是卡耐基梅隆大学的博士后，导师是Graham Neubig教授，研究方向为自然语言处理（NLP）与大语言模型（LLM）。

他于俄亥俄州立大学获得计算机博士学位。他的研究目标是理解并提升大语言模型的推理能力，并致力于增强模型的可靠性。他领导并参与了多个大模型推理的基准，如MMMU等。

参考资料：

https://neulab.github.io/VisualPuzzles/

https://x.com/yueqi_song/status/1912510869491101732

文章来自于“新智元”，作者“编辑部 ZJH”。