结合RLHF+RLVR，8B小模型就能超越GPT-4o、媲美Claude-3.7-Sonnet。陈丹琦新作来了。他们提出了一个结合RLHF和RLVR优点的方法，RLMT（Reinforcement Learning with Model-rewarded Thinking，基于模型奖励思维的强化学习）。
打破思维惯性，「小模型」也能安全又强大！北大-360联合实验室发布TinyR1-32B模型，以仅20k数据的微调，实现了安全性能的里程碑式突破，并兼顾出色的推理与通用能力。
Jet-Nemotron是英伟达最新推出的小模型系列（2B/4B），由全华人团队打造。其核心创新在于提出后神经架构搜索（PostNAS）与新型线性注意力模块JetBlock，实现了从预训练Transformer出发的高效架构优化。
大模型再强，也躲不过上下文限制的「蕉绿」！MIT等团队推出的一套组合拳——TIM和TIMRUN，轻松突破token天花板，让8b小模型也能实现大杀四方。
英伟达发布全新架构9B模型，以Mamba-Transformer混合架构实现推理吞吐量最高提升6倍，对标Qwen3-8B并在数学、代码、推理与长上下文任务中表现持平或更优。
大模型OUT，小模型才是智能体的未来！ 这可不是标题党，而是英伟达最新论文观点： 在Agent任务中，大语言模型经常处理重复、专业化的子任务，这让它们消耗大量计算资源，且成本高、效率低、灵活性差。
哦豁，OpenAI奥特曼又痛失一员大将。 Kevin Lu，领导4o-mini发布，并参与o1-mini、o3发布，主要研究强化学习、小模型和合成数据。
一句话概括，还在嫌弃RAG太慢？这帮研究员直接把检索数据库"蒸馏"成了一个小模型，实现了不检索的检索增强，堪称懒人福音。
27M小模型超越o3-mini-high和DeepSeek-R1！推理还不靠思维链。 开发者是那位拒绝了马斯克、还要挑战Transformer的00后清华校友，Sapient Intelligence的创始人王冠。
刚刚，腾讯混元团队宣布一口气开源了 4 款小模型 —— 最大的只有 7B，另外还包括 4B、1.8B 和 0.5B 三个型号。
