AI资讯新闻榜单内容搜索-DELT

关键词: AI,模型训练,RL,人工智能

UC Berkeley、UW、AI2 等机构联合团队最新工作提出：在恰当的训练范式下，强化学习（RL）不仅能「打磨」已有能力，更能逼出「全新算法」级的推理模式。他们构建了一个专门验证这一命题的测试框架 DELTA，并观察到从「零奖励」到接近100%突破式跃迁的「RL grokking」现象。

关键词: AI,模型训练,DELT,人工智能

模型训练重点在于数据的数量与质量？其实还有一个关键因素—— 数据的出场顺序。

关键词: AI,Log-Linear Attention,模型训练,人工智能

注意力机制的「平方枷锁」，再次被撬开！一招Fenwick树分段，用掩码矩阵，让注意力焕发对数级效率。更厉害的是，它无缝对接线性注意力家族，Mamba-2、DeltaNet 全员提速，跑分全面开花。长序列处理迈入log时代！

关键词: AI,OpenBMB,Delta-CoMe,模型训练

最新模型增量压缩技术，一个80G的A100 GPU能够轻松加载多达50个7B模型，节省显存约8倍，同时模型性能几乎与压缩前的微调模型相当。