花21000块钱，测34205条主流大模型用例，结论免费给你
花21000块钱，测34205条主流大模型用例，结论免费给你春节闭关五天，我做了个东西：一个大模型场景化测评平台。35000+ 次模型跑测，一共 42+ 模型，11,000 块人民币。我全部跑完了，结论汇成一个平台，还会持续更新。
来自主题: AI产品测评
8578 点击 2026-02-24 15:31
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
春节闭关五天，我做了个东西：一个大模型场景化测评平台。35000+ 次模型跑测，一共 42+ 模型，11,000 块人民币。我全部跑完了，结论汇成一个平台，还会持续更新。
模型众多，该如何选择？ GPT-5：OpenAI的最新旗舰模型，统一智能系统，GPT-5 集成了多个模型，自动根据任务复杂度选择最适合的模型进行处理，多模态首选。 GPT-5 Thinking：GPT
用过才知道，「快」不是万能药。
一直被称为"CloseAI"的OpenAI，终于舍得发布了他们继GPT-2之后的第一个开源模型：GPT-OSS
在三个月前，OpenAI 研究员 Shunyu Yao 发表了一篇关于 AI 的下半场的博客引起了广泛讨论。他在博客中指出，AI 研究正在从 “能不能做” 转向 “学得是否有效”，传统的基准测试已经难以衡量 AI 的实际效用，他指出现有的评估方式中，模型被要求独立完成每个任务，然后取平均得分。这种方式忽略了任务之间的连贯性，无法评估模型长期适应能力和更类人的动态学习能力。
最近，我的AI交流群和别的一些AI群都炸锅了，话题的焦点是MiniMax-M1
要知道，过去几年，各种通用评测逐渐同质化，越来越难以评估模型真实能力。GPQA、MMLU-pro、MMLU等流行基准，各家模型出街时人手一份，但局限性也开始暴露，比如覆盖范围狭窄（通常不足 50 个学科），不含长尾知识；缺乏足够挑战性和区分度，比如 GPT-4o 在 MMLU-Pro 上准确率飙到 92.3%。
美国本科生最难数学竞赛，o1 pro竟然只用半小时就全部做出来了？要知道，参赛学生的正常答题时长是6小时。不过网友们仔细看它的解题过程后发现，错误率似乎高达100%，12道题没有一道完全正确？
最近，Nature上的一项研究，全面驳斥了LLM具有类人推理能力的说法。研究者设定的「人类亲吻难题」把7个大模型彻底绕晕。最终研究者表示，与其说LLM是科学理论，不如说它们更接近工具，比如广义导数。
测评大模型Agent能力，从未如此直观。 新旧两版Claude 3.5 Sonnet在《我的世界》里PK盖楼，差距不要太明显，引来大量围观。