斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出
斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出自2014 年提出以来，Adam 及其改进版 AdamW 长期占据开放权重语言模型预训练的主导地位，帮助模型在海量数据下保持稳定并实现较快收敛。
来自主题: AI技术研报
6387 点击 2025-09-08 16:18
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
自2014 年提出以来，Adam 及其改进版 AdamW 长期占据开放权重语言模型预训练的主导地位，帮助模型在海量数据下保持稳定并实现较快收敛。
近日，备受关注的德里亚·巴茨（Andrea Bartz）等诉Anthropic公司的集体诉讼案以一项高达15亿美元的和解协议暂告段落。该案自立案之初便牵动科技界与版权界神经，其最终处理结果及创纪录的和解金额，在AI行业内引发强烈震动。
在多模态大模型的基座上，视觉 - 语言 - 动作（Visual-Language-Action, VLA）模型使用大量机器人操作数据进行预训练，有望实现通用的具身操作能力。
Meta豪掷143亿收购Scale AI，意外成就了3名22岁青年的创业神话！他们靠着为OpenAI等顶级AI实验室输送模型专家训练师，干出百亿独角兽Mercor，年入1亿美金。目前，Mercor在《福布斯》Cloud 100 榜单中排名第89位。
开放词汇识别与分类对于全面理解现实世界的 3D 场景至关重要。目前，所有现有方法在训练或推理过程中都依赖于 2D 或文本模态。这凸显出缺乏能够单独处理 3D 数据以进行端到端语义学习的模型，以及训练此类模型所需的数据。与此同时，3DGS 已成为各种视觉任务中 3D 场景表达的重要标准之一。
模型训练重点在于数据的数量与质量？其实还有一个关键因素—— 数据的出场顺序。
近年来，生成式 AI 和多模态大模型在各领域取得了令人瞩目的进展。然而，在现实世界应用中，动态环境下的数据分布和任务需求不断变化，大模型如何在此背景下实现持续学习成为了重要挑战
无需海量数据标注，智能体也能精确识别定位目标元素了！ 来自浙大等机构的研究人员提出GUI-RCPO——一种自我监督的强化学习方法，可以让模型在没有标注的数据上自主提升GUI grounding（图形界面定位）能力。
9月3日消息，美国哈佛大学博士生赛义德·侯赛尼（Seyed M. Hosseini）与盖伊·莱廷格（Guy Lichtinger）近日发布研究报告，名为《生成式AI：一种偏向资历的技术变革》。该研究使用2015年第一季度至2025年第一季度美国近28.5万家企业、约6200万员工的简历和招聘数据，研究 “生成式AI采用如何影响不同资历员工的就业情况”。
本文主要介绍来自该团队的最新论文：TRKT，该任务针对弱监督动态场景图任务展开研究，发现目前的性能瓶颈在场景中目标检测的质量，因为外部预训练的目标检测器在需要考虑关系信息和时序上下文的场景图视频数据上检测结果欠佳。