让大模型集体吃瘪，数学题正确率通通不到2%！
来自主题: AI技术研报
5291 点击 2024-11-12 11:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
让大模型集体吃瘪，数学题正确率通通不到2%！
Epoch AI推出数学基准FrontierMath，目前前沿模型测试成功率均低于2%！OpenAI研究科学家Noam Brown说道：「我喜欢看到新评估的前沿模型通过率如此之低。这种感觉就像一觉醒来，外面是一片崭新的雪地，完全没有人迹。」或许，FrontierMath测试成功率突破的那一天，会是AI发展过程中一个全新的里程碑。
大型语言模型（LLM）最近在各种数学benchmark上疯狂刷分，动辄90%以上的正确率，搞得好像要统治数学界一样。然而，Epoch AI看不下去了，联手60多位顶尖数学家，憋了个大招——FrontierMath，一个专治LLM各种不服的全新数学推理测试！结果惨不忍睹，LLM集体“翻车”，正确率竟然不到2%！
在美国田纳西州东部的山区，一台名为Frontier的破纪录超算为科学家提供了前所未有的机会，让他们得以研究从原子到星系的一切。
世界上最快超算集群Frontier，用8%的GPU训练出了一个万亿级规模的大模型，而且是在AMD硬件平台之上完成。研究人员将训练的细节和克服的困难写成了一篇论文，展示了如何用非英伟达的生态完成大模型训练的技术框架和细节。