斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出
斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出自2014 年提出以来，Adam 及其改进版 AdamW 长期占据开放权重语言模型预训练的主导地位，帮助模型在海量数据下保持稳定并实现较快收敛。
来自主题: AI技术研报
6675 点击 2025-09-08 16:18
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
自2014 年提出以来，Adam 及其改进版 AdamW 长期占据开放权重语言模型预训练的主导地位，帮助模型在海量数据下保持稳定并实现较快收敛。
在多模态大模型的基座上，视觉 - 语言 - 动作（Visual-Language-Action, VLA）模型使用大量机器人操作数据进行预训练，有望实现通用的具身操作能力。
香港科技大学谭平教授团队与地平线（Horizon Robotics）团队最新发布了一项 3D 场景表征与大规模重建新方法 SAIL-Recon，通过锚点图建立构建场景全局隐式表征，突破现有 VGGT 基础模型对于大规模视觉定位与 3D 重建的处理能力瓶颈，实现万帧级的场景表征抽取与定位重建，将空间智能「3D 表征与建模」前沿推向一个新的高度。
Meta豪掷143亿收购Scale AI，意外成就了3名22岁青年的创业神话！他们靠着为OpenAI等顶级AI实验室输送模型专家训练师，干出百亿独角兽Mercor，年入1亿美金。目前，Mercor在《福布斯》Cloud 100 榜单中排名第89位。
开放词汇识别与分类对于全面理解现实世界的 3D 场景至关重要。目前，所有现有方法在训练或推理过程中都依赖于 2D 或文本模态。这凸显出缺乏能够单独处理 3D 数据以进行端到端语义学习的模型，以及训练此类模型所需的数据。与此同时，3DGS 已成为各种视觉任务中 3D 场景表达的重要标准之一。
让大模型破译从未见过的甲骨文，准确率拿下新SOTA！
周末在家扒拉上周更新的论文的时候，看到一篇我自己一直非常关心的领域的论文，而且还是来自发论文发的越来越少的OpenAI。
最新消息，AI 初创公司 Anthropic 同意支付至少 15 亿美元，来和解一起作家集体诉讼案件。此前，这些作家联合指控 Anthropic 盗版了他们的作品来训练其聊天机器人 Claude。
为了降低大模型预训练成本，最近两年，出现了很多新的优化器，声称能相比较AdamW，将预训练加速1.4×到2×。但斯坦福的一项研究，指出不仅新优化器的加速低于宣称值，而且会随模型规模的增大而减弱，该研究证实了严格基准评测的必要性。
好家伙，我直呼好家伙。 号称「赛博白月光」的 GPT-4o，在它的知识体系里，对日本女优「波多野结衣」的熟悉程度，竟然比中文日常问候语「您好」还要高出 2.6 倍。