
Linear-MoE:线性注意力遇上混合专家的开源实践
Linear-MoE:线性注意力遇上混合专家的开源实践来自上海人工智能实验室团队的最新成果 Linear-MoE,首次系统性地实现了线性序列建模与 MoE 的高效结合,并开源了完整的技术框架,包括 Modeling 和 Training 两大部分,并支持层间混合架构。为下一代基础模型架构的研发提供了有价值的工具和经验。
来自上海人工智能实验室团队的最新成果 Linear-MoE,首次系统性地实现了线性序列建模与 MoE 的高效结合,并开源了完整的技术框架,包括 Modeling 和 Training 两大部分,并支持层间混合架构。为下一代基础模型架构的研发提供了有价值的工具和经验。
AI越来越聪明,但如果它们反应慢,效率低,也难以满足我们的需求。
信息检索能力对提升大语言模型 (LLMs) 的推理表现至关重要,近期研究尝试引入强化学习 (RL) 框架激活 LLMs 主动搜集信息的能力,但现有方法在训练过程中面临两大核心挑战:
Horizon3.ai 是一家提供自主渗透测试等工具的网络安全初创公司,该公司本周在提交给美国证券交易委员会的文件中透露,正在寻求新一轮 1 亿美元的融资,并已锁定至少 7300 万美元。
来自华盛顿大学、AI2、UC伯克利研究团队证实,「伪奖励」(Spurious Rewards)也能带来LLM推理能力提升的惊喜。
Google I/O 2025 结束后,Google CEO Sundar Pichai 接受了《The Verge》主编专访,这也是双方连续第三年于 I/O 后展开对谈,而今年的背景更为特殊:Gemini 模型全面更新、多模态生成工具 Veo3 登场、AI 功能深度融入 Android 与 XR 平台,Google 展现出前所未有的产品化信心。
过度依赖CoT思维链推理会降低模型性能,有新解了! 来自字节、复旦大学的研究人员提出自适应推理框架CAR,能根据模型困惑度动态选择短回答或详细的长文本推理,最终实现了准确性与效率的最佳平衡。
2025 年快要过半,今年上半年 AI 搜索、AI 深度研究类产品可谓是欣欣向荣。
既能提升模型能力,又不显著增加内存和时间成本,LLM第三种Scaling Law被提出了。
2025年上半年,Agent成为大模型领域讨论最多的主题之一。