月之暗面公开强化学习训练加速方法：训练速度暴涨97%，长尾延迟狂降93%
月之暗面公开强化学习训练加速方法：训练速度暴涨97%，长尾延迟狂降93%u1s1，现在模型能力是Plus了，但Rollout阶段的速度却越来越慢……
来自主题: AI技术研报
7849 点击 2025-11-27 15:29
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
u1s1，现在模型能力是Plus了，但Rollout阶段的速度却越来越慢……
外媒最新消息显示，月之暗面的新一轮融资，已经进入临门一脚的“收尾阶段”。这一轮资金规模被多名知情人士形容为“数亿美元级别”，目标估值则被抬到了约 40 亿美元区间。相比 2024 年 B 轮融资时 30 亿美元出头的定价，又上了一个台阶。
一时的技术成果或者用户增长，很难成为 AI 公司的竞争优势。
今年 2 月，月之暗面提出了一种名为 MoBA 的注意力机制，即 Mixture of Block Attention，可以直译为「块注意力混合」。
Kimi K2 Thinking训练真的只花了460万美元？杨植麟亲自带队，月之暗面创始团队出面回应了。这不是官方数据。训练成本很难计算，因为其中很大一部分用于研究和实验。他们还透露训练使用了配备Infiniband的英伟达H800，GPU数量也比巨头的少，但充分利用了每一张卡。
2025年前盛行的闭源+重资本范式正被DeepSeek-R1与月之暗面Kimi K2 Thinking改写，二者以数百万美元成本、开源权重，凭MoE与MuonClip等优化，在SWE-Bench与BrowseComp等基准追平或超越GPT-5，并以更低API价格与本地部署撬动市场预期，促使行业从砸钱堆料转向以架构创新与稳定训练为核心的高效路线。
昨天，月之暗面发布全新模型Kimi K2 Thinking，一上线就挤爆了服务器。思考，是它的核心卖点，自称是开源的「思考Agent模型」。在Tau2 Bench Telecom基准测试中，K2 Thinking位列第一。
四个月前 Kimi 发布了 K2 模型，凭借优秀的质量以及先进的架构优化，一举打破了持续了几个月关于月之暗面的质疑。 我当时也写了两篇测评《Kimi K2 详测｜超强代码和Agent 能力！内附Cla
月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型。在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。
月之暗面在这一方向有所突破。在一篇新的技术报告中，他们提出了一种新的混合线性注意力架构 ——Kimi Linear。该架构在各种场景中都优于传统的全注意力方法，包括短文本、长文本以及强化学习的 scaling 机制。