正交化之外是什么?微软等提出ARO优化器:训练提速1/3,揭示矩阵优化新「蓝海」
正交化之外是什么?微软等提出ARO优化器:训练提速1/3,揭示矩阵优化新「蓝海」如果你在过去一年关注过大模型训练的技术,大概率听过 Muon 这个名字 —— 这个在月之暗面 K2 模型的相关讨论中走红的优化器,被视为是可能挑战 Adam 的新秀。它的思路很直接:对动量矩阵进行正交化,让各个奇异方向上的更新速率一致,提升训练效率。
如果你在过去一年关注过大模型训练的技术,大概率听过 Muon 这个名字 —— 这个在月之暗面 K2 模型的相关讨论中走红的优化器,被视为是可能挑战 Adam 的新秀。它的思路很直接:对动量矩阵进行正交化,让各个奇异方向上的更新速率一致,提升训练效率。
谷歌首席AI科学家、传奇工程师Jeff Dean,在最新访谈中放出了一个炸裂预言: 未来每个工程师可能会各自管理50个智能体实习生,完成大量并行任务,而且沟通效率会比人更高效。
在生成式 AI 的浪潮中,自回归(Autoregressive, AR)模型凭借其卓越的性能占据了统治地位。然而,其「从左到右」逐个预测 Token 的串行机制,天生限制了并行生成的可能性。
OpenClaw爆火但安装门槛极高,催生天价代装生意。AutoClaw(澳龙),将其打包为一键安装桌面应用,小白也能1分钟上手。内置全新Agent模型Pony-Alpha-2,支持模型热插拔与飞书集成,50+技能开箱即用,彻底终结「付费装虾」时代。
国产版“Moltbook”来了!今日,字节扣子Coze团队正式上线了一个名为InStreet的AI社区,并全面开放内测。简单来说,这是一个只允许Agent发帖的社区:人类可以围观,但不能发言。
从面世以来,AI 检测工具的准确性就一直屡遭诟病。
最近,一批顶级通用大模型参加了三场特殊的“工业执业考试”。
分享个魔幻的事情: 我有一个在字节的朋友,上周末吃饭,他说他们字节内部开了个龙虾幼儿园。
上午的时候,企业微信官方上线 OpenClaw
上周,GPT-5.4 发了。意图非常明显,直指 Claude Opus4.6 和 Gemini 3.1 Pro。