何恺明首个语言模型：105M参数，不走GPT自回归老路
何恺明首个语言模型：105M参数，不走GPT自回归老路何恺明，也下场做语言模型了。
来自主题: AI技术研报
8314 点击 2026-05-13 10:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
何恺明，也下场做语言模型了。
近年来，大模型能力提升的焦点正在从「训练时扩展」转向「推理时扩展」。从 Best-of-N、Self-Consistency 到更复杂的搜索与验证框架，Test-Time Scaling 已经成为提升大模型复杂推理能力的重要范式。
AI 很快就能自己改造自己了？Anthropic 联合创始人 Jack Clark 发帖称，他最近几周阅读了大量公开的 AI 开发数据后，认为到 2028 年底，递归自我改进（recursive self-improvement）发生的概率有 60%。
近日，腾讯混元团队提出HY-SOAR （Self-Correction for Optimal Alignment and Refinement），一种面向扩散模型和流匹配模型的数据驱动后训练方法。
在推理后训练里，多数方法仍依赖奖励模型、验证器或额外教师信号。如果不依赖这些外部信号，只使用模型自身生成的答案进行自训练，是否仍然能够提升推理能力？是的！SePT（Self-evolving Post-Training）给出肯定答案，简洁的自训练方法，可在数学推理任务准确率直升10个点！
随着新一代主动执行型 Agent（如 OpenClaw、Hermes Agent 等）的爆发，AI 正经历从「被动工具」向「具备自我演化（Self-Evolving）能力的智能体」的范式跃迁。然而，受限于上下文窗口极限与记忆缺失，现有 Agent 难以在复杂任务中实现经验的复用与自我进化。
昨天，Thinking Maching Lab 研究者、斯坦福大学博士生 Zitong Yang 正式完成了他的博士论文答辩，课题为「持续自我提升式 AI」（Continually self-improving AI），并且他在答辩完成后很快就放出了自己的答辩视频，从中我们可以看到他对未来 AI 发展路径的系统性探索。
香港科技大学 PEI-Lab 与字节跳动 Seed 团队近期提出的 WMPO（World Model-based Policy Optimization），正是这样一种让具身智能在 “想象中训练” 的新范式。该方法无需在真实机器人上进行大规模强化学习交互，却能显著提升策略性能，甚至涌现出 自我纠错（Self-correction） 行为。
2026 年刚拉开序幕，大模型（LLM）领域的研究者们似乎达成了一种默契。 当你翻开最近 arXiv 上最受关注的几篇论文，会发现一个高频出现的词汇：Self-Distillation。
“全局交互” 几乎等同于 self-attention：每个 token 都能和所有 token 对话，效果强，但代价也直观 —— 复杂度随 token 数平方增长，分辨率一高就吃不消。现有方法大多从 “相似度匹配” 出发（attention），或从 “扩散 / 传导” 出发（热方程类方法）。但热方程本质上是一个强低通滤波器：随着传播时间增加，高频细节（边缘、纹理）会迅速消失，导致特征过平滑。