斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库
斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库只是换一下数学题的变量名称，大模型就可能集体降智？？
来自主题: AI技术研报
3608 点击 2025-01-05 20:18
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
只是换一下数学题的变量名称，大模型就可能集体降智？？
AI真的可以做数学了吗？来自帝国理工学院教授Kevin Buzzard在最新博文中深刻探讨了这个问题。甚至，他预测道，2025年AI能够拿下IMO金牌级水平。
前几天，OpenAI 已经完成了 12 连更的最后一更 —— 如外界所料，是新的推理系列模型 o3 和 o3-mini 。
1637 年，费马在阅读丢番图《算术》拉丁文译本时，曾在第 11 卷第 8 命题旁写道：「将一个立方数分成两个立方数之和，或一个四次幂分成两个四次幂之和，或者一般地将一个高于二次的幂分成两个同次幂之和，这是不可能的。关于此，我确信我发现一种美妙的证法，可惜这里的空白处太小，写不下。」
一个全新的模型能力衡量指标诞生了？！
2024 年就要结束了，在这一年里，大模型的智力水平究竟长进了多少？ 上周日，2025考研初试刚刚结束，我们趁热拿考研数学卷子，去测测主流的几家国产大模型，看看他们的真实智商水平如何。
对 AI 研究者来说，数学既是一类难题，也是一个标杆，能够成为衡量 AI 技术的发展重要尺度。近段时间，随着 AI 推理能力的提升，使用 AI 来证明数学问题已经成为一个重要的研究探索方向。
微软下一代14B小模型Phi-4出世了！仅用了40%合成数据，在数学性能上击败了GPT-4o，最新36页技术报告出炉。
对于数学领域而言，2024年是令人兴奋的一年。我们不仅见证了几何和数论方面的里程碑式成果，人工智能的发展也正在开始改变数学学科的未来。
OpenAI谷歌天天刷流量，微软也坐不住了，推出最新小模型Phi-4。 参数量仅14B，MMLU性能就和Llama 3.3/ Qwen2.5等70B级别大模型坐一桌。