挑战AI数学推理极限！大规模形式化数学基准FormalMATH发布，最强模型成功率仅16%
挑战AI数学推理极限！大规模形式化数学基准FormalMATH发布，最强模型成功率仅16%最强AI模型面对5560道数学难题，成功率仅16.46%？背后真相大揭秘。
来自主题: AI技术研报
8114 点击 2025-05-08 10:36
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
最强AI模型面对5560道数学难题，成功率仅16.46%？背后真相大揭秘。
DeepSeek放大招！新模型专注数学定理证明，大幅刷新多项高难基准测试。在普特南测试上，新模型DeepSeek-Prover-V2直接把记录刷新到49道。目前的第一名在657道题中只做出10道题，为Kimi与AIME2024冠军团队Numina合作成果Kimina-Prover。
AIMO2冠军「答卷」公布了！英伟达团队NemoSkills拔得头筹，开源了OpenMath-Nemotron系列AI模型，1.5B小模型击败14B-DeepSeek「推理大模型」！
AI辅助人类，完成了首个非平凡研究数学证明，破解了50年未解的数学难题！在南大校友的研究中，这个难题中q=3的情况，由o3-mini-high给出了精确解。
AIMO2最终结果出炉了！英伟达团队NemoSkills拔得头筹，凭借14B小模型破解了34道奥数题，完胜DeepSeek R1。
在数学推理中，大语言模型存在根本性局限：在美国数学奥赛，顶级AI模型得分不足5%！来自ETH Zurich等机构的MathArena团队，一下子推翻了AI会做数学题这个神话。
数学题， 一直是检验 AI 实力的 “硬核考场” —— 公式推导、逻辑链条、抽象思维缺一不可 。最近，我好了几天时间对国内外 7 款大厂模型展开了一场 “数学高考 ”，用阿里全球数学竞赛 + 中国奥赛真题实测它们的智商上限。
“大模型推广大神”陶哲轩又来分享他的亲测体验了。这一次o3-mini一眼识破并且纠正了他的一个错误，然后在它的帮助下快速完成了一道数学题的解答。
在32道高等数学测试中，LLM表现出色，平均能得分90.4(按百分制计算)。GPT-4o和Mistral AI更是几乎没错！向量计算、几何分析、积分计算、优化问题等，高等AI模型轻松拿捏。研究发现，再提示（Re-Prompting）对提升准确率至关重要。
o3-mini成功挑战图论中专家级证明，还得到了陶哲轩盛赞。经过实测后，他总结称LLM并非是数学研究万能解法，其价值取决于问题得性质和调教AI的方式。