OpenAI o1是真有实力！港大权威AB测试，国家队奥数题照样拿下
OpenAI o1是真有实力！港大权威AB测试，国家队奥数题照样拿下OpenAI o1的数学推理能力是否真的那么强？近日，来自港大的研究人员对模型进行了严格的AB测试，在非公开的国家队奥数题面前，o1证明了自己的实力。
来自主题: AI技术研报
6164 点击 2024-12-21 11:30
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
OpenAI o1的数学推理能力是否真的那么强？近日，来自港大的研究人员对模型进行了严格的AB测试，在非公开的国家队奥数题面前，o1证明了自己的实力。
目前大语言模型（Large Language Models, LLMs）的推理能力备受关注。从思维链（Chain of Thought，CoT）技术提出，到以 o1 为代表的长思考模型发布，大模型正在展现出接近人类甚至领域专家的水平，其中数学推理是一个典型任务。
本文将介绍数学推理场景下的首个分布外检测研究成果。
AtomThink 是一个包括 CoT 注释引擎、原子步骤指令微调、政策搜索推理的全流程框架，旨在通过将 “慢思考 “能力融入多模态大语言模型来解决高阶数学推理问题。量化结果显示其在两个基准数学测试中取得了大幅的性能增长，并能够轻易迁移至不同的多模态大模型当中。
大模型不会照搬训练数据中的数学推理，回答事实问题和推理问题的「思路」也不一样。
自从 OpenAI 发布展现出前所未有复杂推理能力的 o1 系列模型以来，全球掀起了一场 AI 能力 “复现” 竞赛。近日，上海交通大学 GAIR 研究团队在 o1 模型复现过程中取得新的突破，通过简单的知识蒸馏方法，团队成功使基础模型在数学推理能力上超越 o1-preview。
大型语言模型（LLM）最近在各种数学benchmark上疯狂刷分，动辄90%以上的正确率，搞得好像要统治数学界一样。然而，Epoch AI看不下去了，联手60多位顶尖数学家，憋了个大招——FrontierMath，一个专治LLM各种不服的全新数学推理测试！结果惨不忍睹，LLM集体“翻车”，正确率竟然不到2%！
就在刚刚，The Information曝出：OpenAI的草莓将于两周内上线！收费疑似200刀一个月，最大的特色就是比其他模型多思考10到20秒。然而因为「狼来了」太多回，网友们忍不住吐槽：OpenAI现在就是个炒作公司。
OpenAI又憋大招了！据悉，下一代旗舰模型GPT-5或名为「猎户座」，由「草莓」合成的数据训练。而草莓具有极强的复杂推理（数学、编程）和语言能力，或将超越当前的任何模型的推理和生成的能力。
LLM的数学推理能力缺陷得到了很多研究的关注，但最近浙大、中科院等机构的学者们提出，先进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准，并设计了一种新颖的数据合成方法。