AI资讯新闻榜单内容搜索-训练

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
搜索: 训练
超越DeepSeek GRPO的关键RL算法,字节、清华AIR开源DAPO

超越DeepSeek GRPO的关键RL算法,字节、清华AIR开源DAPO

超越DeepSeek GRPO的关键RL算法,字节、清华AIR开源DAPO

DeepSeek 提出的 GRPO 可以极大提升 LLM 的强化学习效率,不过其论文中似乎还缺少一些关键细节,让人难以复现出大规模和工业级的强化学习系统。

来自主题: AI技术研报
4627 点击    2025-03-18 17:14
8张GPU训出近SOTA模型,超低成本图像生成预训练方案开源

8张GPU训出近SOTA模型,超低成本图像生成预训练方案开源

8张GPU训出近SOTA模型,超低成本图像生成预训练方案开源

超低成本图像生成预训练方案来了——仅需8张GPU训练,就能实现近SOTA的高质量图像生成效果。

来自主题: AI技术研报
7899 点击    2025-03-18 16:04
投入数亿美元的大模型“对齐”,脆弱得像饺子皮

投入数亿美元的大模型“对齐”,脆弱得像饺子皮

投入数亿美元的大模型“对齐”,脆弱得像饺子皮

在大模型逐步接近AGI之时,"AI对齐"一直被视为守护人类的最后一道防线。

来自主题: AI资讯
8792 点击    2025-03-18 12:20
新注意力让大模型上下文内存占用砍半!精度不减还能加速2倍

新注意力让大模型上下文内存占用砍半!精度不减还能加速2倍

新注意力让大模型上下文内存占用砍半!精度不减还能加速2倍

大模型同样的上下文窗口,只需一半内存就能实现,而且精度无损? 前苹果ASIC架构师Nils Graef,和一名UC伯克利在读本科生一起提出了新的注意力机制Slim Attention。

来自主题: AI资讯
5647 点击    2025-03-17 19:52
北大团队提出LIFT:将长上下文知识注入模型参数,提升大模型长文本能力

北大团队提出LIFT:将长上下文知识注入模型参数,提升大模型长文本能力

北大团队提出LIFT:将长上下文知识注入模型参数,提升大模型长文本能力

长文本任务是当下大模型研究的重点之一。在实际场景和应用中,普遍存在大量长序列(文本、语音、视频等),有些甚至长达百万级 tokens。

来自主题: AI技术研报
7099 点击    2025-03-17 16:04
ICLR 2025 Spotlight | 慕尼黑工业大学&北京大学:迈向无冲突训练的ConFIG方法

ICLR 2025 Spotlight | 慕尼黑工业大学&北京大学:迈向无冲突训练的ConFIG方法

ICLR 2025 Spotlight | 慕尼黑工业大学&北京大学:迈向无冲突训练的ConFIG方法

在深度学习的多个应用场景中,联合优化多个损失项是一个普遍的问题。典型的例子包括物理信息神经网络(Physics-Informed Neural Networks, PINNs)、多任务学习(Multi-Task Learning, MTL)和连续学习(Continual Learning, CL)。然而,不同损失项的梯度方向往往相互冲突,导致优化过程陷入局部最优甚至训练失败。

来自主题: AI技术研报
7878 点击    2025-03-17 14:55
统一自监督预训练!视觉模型权重无缝迁移下游任务,SiT收敛提速近47倍

统一自监督预训练!视觉模型权重无缝迁移下游任务,SiT收敛提速近47倍

统一自监督预训练!视觉模型权重无缝迁移下游任务,SiT收敛提速近47倍

最近的研究强调了扩散模型与表征学习之间的相互作用。扩散模型的中间表征可用于下游视觉任务,同时视觉模型表征能够提升扩散模型的收敛速度和生成质量。然而,由于输入不匹配和 VAE 潜在空间的使用,将视觉模型的预训练权重迁移到扩散模型中仍然具有挑战性。

来自主题: AI技术研报
7940 点击    2025-03-17 14:36