搜索
CMU团队用LCPO训练了一个15亿参数的L1模型，结果令人震惊：在数学推理任务中，它比S1相对提升100%以上，在逻辑推理和MMLU等非训练任务上也能稳定发挥。更厉害的是，要求短推理时，甚至击败了GPT-4o——用的还是相同的token预算！
要知道，过去几年，各种通用评测逐渐同质化，越来越难以评估模型真实能力。GPQA、MMLU-pro、MMLU等流行基准，各家模型出街时人手一份，但局限性也开始暴露，比如覆盖范围狭窄（通常不足 50 个学科），不含长尾知识；缺乏足够挑战性和区分度，比如 GPT-4o 在 MMLU-Pro 上准确率飙到 92.3%。
OpenAI谷歌天天刷流量，微软也坐不住了，推出最新小模型Phi-4。 参数量仅14B，MMLU性能就和Llama 3.3/ Qwen2.5等70B级别大模型坐一桌。
谁是在线购物领域最强大模型？也有评测基准了。
如何解决模型生成幻觉一直是人工智能（AI）领域的一个悬而未解的问题。为了测量语言模型的事实正确性，近期 OpenAI 发布并开源了一个名为 SimpleQA 的评测集。而我们也同样一直在关注模型事实正确性这一领域，目前该领域存在数据过时、评测不准和覆盖不全等问题。例如现在大家广泛使用的知识评测集还是 CommonSenseQA、CMMLU 和 C-Eval 等选择题形式的评测集。
快速更迭的开源大模型领域，又出现了新王：Reflection 70B。 横扫 MMLU、MATH、IFEval、GSM8K，在每项基准测试上都超过了 GPT-4o，还击败了 405B 的 Llama 3.1。 这个新模型 Reflection 70B，来自 AI 写作初创公司 HyperWrite。
大模型权威测试，翻车了？！ HuggingFace都在用的MMLU-PRO，被扒出评测方法更偏向闭源模型，被网友直接在GitHub Issue提出质疑。
智东西4月19日消息，Meta推出迄今为止能力最强的开源大模型Llama 3系列，发布8B和70B两个版本。 Llama 3在一众榜单中取得开源SOTA（当前最优效果）。Llama 3 8B在MMLU、GPQA、HumanEval、GSM-8K等多项基准上超过谷歌Gemma 7B和Mistral 7B Instruct。
百川智能又对产品进行了一次大更新，发布了Baichuan 3模型。这次更新后，在多个权威通用能力评测CMMLU、GAOKAO和AGI-Eval中，其英文能力已经逼近 GPT-4，在中文任务表现上甚至超越了GPT-4：
谷歌憋了许久的大招，双子座Gemini大模型终于发布！其中一图一视频最引人注目：一图，MMLU多任务语言理解数据集测试，Gemini Ultra不光超越GPT-4，甚至超越了人类专家。