搜索
数学题， 一直是检验 AI 实力的 “硬核考场” —— 公式推导、逻辑链条、抽象思维缺一不可 。最近，我好了几天时间对国内外 7 款大厂模型展开了一场 “数学高考 ”，用阿里全球数学竞赛 + 中国奥赛真题实测它们的智商上限。
AI界「智商大考」ARC-AGI-2重磅出炉了！一个人类用5分钟轻松解开的谜题，却让最顶尖LLM全线崩盘得分挂零，o3更是从曾经76%暴跌至4%。它正式宣告，人类还未实现AGI。
只是换一下数学题的变量名称，大模型就可能集体降智？？
OpenAI o1，在IQ测试中拿到了第一名！大佬Maxim Lott，给o1、Claude-3 Opus、Gemini、GPT-4、Grok-2、Llama-3.1等进行了智商测试，结果表明，o1稳居第一名。
谷歌DeepMind推出LLM自动评估模型FLAMe系列，FLAMe-RM-24B模型在RewardBench上表现卓越，以87.8%准确率领先GPT-4o。
大模型测试能拿高分，实际场景中却表现不佳的问题有解了。
没眼看……“9.11和9.9哪个大”这样简单的问题，居然把主流大模型都难倒了？？
大力出奇迹，也是一个新思路。
LLM能否解决「狼-山羊-卷心菜」经典过河难题？最近，菲尔兹奖得主Timothy Gowers分享了实测GPT-4o的过程，模型在最简单的题目上竟然做错了，甚至网友们发现，就连Claude 3.5也无法幸免。
还有12款大模型全军覆没……