
研究者警告:强化学习暗藏「策略悬崖」危机,AI对齐的根本性挑战浮现
研究者警告:强化学习暗藏「策略悬崖」危机,AI对齐的根本性挑战浮现强化学习(RL)是锻造当今顶尖大模型(如 OpenAI o 系列、DeepSeek-R1、Gemini 2.5、Grok 4、GPT-5)推理能力与对齐的核心 “武器”,但它也像一把双刃剑,常常导致模型行为脆弱、风格突变,甚至出现 “欺骗性对齐”、“失控” 等危险倾向。
强化学习(RL)是锻造当今顶尖大模型(如 OpenAI o 系列、DeepSeek-R1、Gemini 2.5、Grok 4、GPT-5)推理能力与对齐的核心 “武器”,但它也像一把双刃剑,常常导致模型行为脆弱、风格突变,甚至出现 “欺骗性对齐”、“失控” 等危险倾向。
之前在X上看到过一个新加坡版的DeepSeek,叫Agnes AI,主打一站式Agent空间。 但当时我自己搞产品焦头烂额的,随手点开看了看,就放下了。 后来在Product Hunt上又看到这款产品,以及各种海外平台时而刷到。
AI搜索大战,已经白热化!最新QuestMobile报告揭晓:夸克月人均使用次数稳居第一,微博智搜凭DeepSeek杀进前二,腾讯「新闻妹」拿到第三。实测发现,天气预警、社会新闻、数码测评、娱乐八卦,微博智搜统统一键梳理,让网友搜索体验爽到飞起。
稀疏激活的混合专家模型(MoE)通过动态路由和稀疏激活机制,极大提升了大语言模型(LLM)的学习能力,展现出显著的潜力。基于这一架构,涌现出了如 DeepSeek、Qwen 等先进的 MoE LLM。
这就是我与 HMD 3210 的奇遇记:一台外表是 30 年前诺基亚、内心却住着一个完整大模型的「时光机器」。
27M小模型超越o3-mini-high和DeepSeek-R1!推理还不靠思维链。 开发者是那位拒绝了马斯克、还要挑战Transformer的00后清华校友,Sapient Intelligence的创始人王冠。
人工智能引领第四次科技革命,是当前最火的、最具前景、最具爆发力的科技赛道。进入到2025年,发生了什么新的变化?中国人工智能正告别“百模大战”的规模竞赛,向以DeepSeek等六小虎为代表的头部大模型集中。AI发展的核心,从追求模型“可用”转向实现场景的“好用”。
自首次提出 GPT 架构以来,转眼已经过去了七年。 如果从 2019 年的 GPT-2 出发,回顾至 2024–2025 年的 DeepSeek-V3 和 LLaMA 4,不难发现一个有趣的现象:尽管模型能力不断提升,但其整体架构在这七年中保持了高度一致。
众所周知,大型语言模型的训练通常分为两个阶段。第一阶段是「预训练」,开发者利用大规模文本数据集训练模型,让它学会预测句子中的下一个词。第二阶段是「后训练」,旨在教会模型如何更好地理解和执行人类指令。
QuestMobile 发布了 2025 年国内 AI 应用的上半年报告,总的来说,相比海外市场 app 和 web 市场都很火热的情况,国内市场的情况差别比较大。