为什么Qwen能自我改进推理，Llama却不行？斯坦福找到了原理
为什么Qwen能自我改进推理，Llama却不行？斯坦福找到了原理虽然 Qwen「天生」就会检查自己的答案并修正错误。但找到原理之后，我们也能让 Llama 学会自我改进。
来自主题: AI技术研报
7199 点击 2025-03-06 09:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
虽然 Qwen「天生」就会检查自己的答案并修正错误。但找到原理之后，我们也能让 Llama 学会自我改进。
给DeepSeek-R1推理指导，它的数学推理能力就开始暴涨。更令人吃惊是，Qwen2.5-14B居然给出了此前从未见过的希尔伯特问题的反例！而人类为此耗费了27年。研究者预言：LLM离破解NP-hard问题，已经又近了一步。
上周DeepSeek连续5天开源硬核技术，阿里开源万相2.1，Qwen的推理模型推出预览版，但是肯定马上也要开源。而今天，智谱这个曾经的开源之光，在昨天官宣拿了杭州10亿融资之后，在官宣文章里如此写道：
在大语言模型 (LLM) 的研究中，与以 Chain-of-Thought 为代表的逻辑思维能力相比，LLM 中同等重要的 Leap-of-Thought 能力，也称为创造力，目前的讨论和分析仍然较少。这可能会严重阻碍 LLM 在创造力上的发展。造成这种困局的一个主要原因是，面对「创造力」，我们很难构建一个合适且自动化的评估流程。
阿里通义Qwen团队熬夜通宵，推理模型Max旗舰版来了！QwQ-Max-Preview预览版，已在LiveCodeBench编程测试中排名第5，小超o1中档推理和DeepSeek-R1-Preview预览版。
DeepSeek啥都开源了，就是没有开源训练代码和数据。现在，开源RL训练方法只需要用1/30的训练步骤就能赶上相同尺寸的DeepSeek-R1-Zero蒸馏Qwen。
推理大语言模型（LLM），如 OpenAI 的 o1 系列、Google 的 Gemini、DeepSeek 和 Qwen-QwQ 等，通过模拟人类推理过程，在多个专业领域已超越人类专家，并通过延长推理时间提高准确性。推理模型的核心技术包括强化学习（Reinforcement Learning）和推理规模（Inference scaling）。
江树的碎碎念：最近发现阿里家的千问AI偷偷上线了海外版，不仅完全免费、无需魔法，功能甚至比ChatGPT还要强！这不赶紧带大家尝鲜体验一波？最近我发现了一个超赞的一站式免费AI神器：阿里千问海外版！ 它直接开启了一个全新的网址：chat.qwenlm.ai
「慢思考」（Slow-Thinking），也被称为测试时扩展（Test-Time Scaling），成为提升 LLM 推理能力的新方向。近年来，OpenAI 的 o1 [4]、DeepSeek 的 R1 [5] 以及 Qwen 的 QwQ [6] 等顶尖推理大模型的发布，进一步印证了推理过程的扩展是优化 LLM 逻辑能力的有效路径。
刚刚，大模型竞技场榜单上再添一款国产模型——来自阿里，Qwen2.5-Max，超越了DeepSeek-V3，以总分1332的成绩位列总榜第七。同时还一举超越Claude 3.5 Sonnet、Llama 3.1 405B等模型。