Adam的稳+Muon的快？华为诺亚开源ROOT破解大模型训练「既要又要」的两难困境
Adam的稳+Muon的快？华为诺亚开源ROOT破解大模型训练「既要又要」的两难困境在 LLM 优化领域，有两个响亮的名字：Adam（及其变体 AdamW）和 Muon。
来自主题: AI技术研报
9571 点击 2025-11-27 14:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在 LLM 优化领域，有两个响亮的名字：Adam（及其变体 AdamW）和 Muon。
在基础模型领域，模型规模与性能之间的缩放定律（Scaling Law）已被广泛验证，但模型增大也伴随着训练成本、存储需求和能耗的急剧上升。如何在控制参数量的前提下高效扩展模型，成为当前研究的关键挑战。
不牺牲任何生成质量，将多模态大模型推理最高加速3.2倍！ 华为诺亚方舟实验室最新研究已入选NeurIPS 2025。
为应对这些挑战，来自华为诺亚方舟实验室，德国达姆施塔特工业大学，英国伦敦大学学院，帝国理工学院和牛津大学的研究者们联合推出了 Ark —— 一个基于 Python 的机器人开发框架，支持快速原型构建，并可便捷地在仿真和真实机器人系统上部署新算法。
华为诺亚方舟实验室最近联合香港大学发了一篇针对"Deep Research Agents"（深度研究代理）的系统性综述，在我的印象中，这是他们第二次发布关于Deep Research的综述论文。上一篇里提供了一个结构导向 (Structure-Oriented) 的视角，核心是“分类”。
具身智能，成了这个夏天最炙手可热的创业赛道。 量子位独家获悉，华为诺亚方舟实验室首席研究员，刚刚创办了一家具身智能公司。
近期，基于大语言模型的智能体（LLM-based agent）在学术界和工业界中引起了广泛关注。对于智能体而言，记忆（Memory）是其中的重要能力，承担了记录过往信息和外部知识的功能，对于提高智能体的个性化等能力至关重要。
大语言模型（LLM）在标准编程基准测试（如 HumanEval,Livecodebench）上已经接近 “毕业”，但这是否意味着它们已经掌握了人类顶尖水平的复杂推理和编程能力？
大模型越来越大，通用能力越来越强，但一遇到数学、科学、逻辑这类复杂问题，还是常“翻车”。为破解这一痛点，华为诺亚方舟实验室提出全新高阶推理框架 ——思维森林（Forest-of-Thought，FoT）。
Mixture-of-Experts（MoE）在推理时仅激活每个 token 所需的一小部分专家，凭借其稀疏激活的特点，已成为当前 LLM 中的主流架构。然而，MoE 虽然显著降低了推理时的计算量，但整体参数规模依然大于同等性能的 Dense 模型，因此在显存资源极为受限的端侧部署场景中，仍然面临较大挑战。