爆火Block Diffusion引发LLM架构变革?自回归+扩散模型完美结合 | ICLR 2025
爆火Block Diffusion引发LLM架构变革?自回归+扩散模型完美结合 | ICLR 2025块离散去噪扩散语言模型(BD3-LMs)结合自回归模型和扩散模型的优势,解决了现有扩散模型生成长度受限、推理效率低和生成质量低的问题。通过块状扩散实现任意长度生成,利用键值缓存提升效率,并通过优化噪声调度降低训练方差,达到扩散模型中最高的预测准确性,同时生成效率和质量优于其他扩散模型。
块离散去噪扩散语言模型(BD3-LMs)结合自回归模型和扩散模型的优势,解决了现有扩散模型生成长度受限、推理效率低和生成质量低的问题。通过块状扩散实现任意长度生成,利用键值缓存提升效率,并通过优化噪声调度降低训练方差,达到扩散模型中最高的预测准确性,同时生成效率和质量优于其他扩散模型。
当棋盘变成战场,当盟友暗藏心机,当谈判需要三十六计,AI 的智商令人叹息!
DeepSeek深夜偷袭。昨天晚上,他们的v3模型,有了一波更新,版本号到了DeepSeek-V3-0324,而且是直接开源的。
大神卡帕西带着他的教程又来了!这次不是教学视频,而是手把手教你如何用大模型开发APP——他没有阅读任何文档,也没有在专门平台Swift编程过,在与ChatGPT仅四轮对话的指导下,成功在手机上运行上了。
视觉+语音=更强的语音识别!BPO-AVASR通过优化音视频输入和输出偏好,提升语音识别在真实场景中的准确性,解决了传统方法在噪声、口语化和视觉信息利用不足的问题。
3D 视觉定位(3D Visual Grounding, 3DVG)是智能体理解和交互三维世界的重要任务,旨在让 AI 根据自然语言描述在 3D 场景中找到指定物体。
训练狗时不仅要让它知对错,还要给予差异较大的、不同的奖励诱导,设计 RLHF 的奖励模型时也是一样。
3月24日,从自然资源部获悉,国家海洋环境预报中心联合海洋出版社有限公司和三六零数字安全科技集团有限公司,以360智脑13B和Deepseek-R1-70B大模型为基座成功开发了海洋垂直领域大语言模型——“瀚海智语”(英文名称OceanDS)。
哎!最近推特上的网友在LMSYS Arena 发现了个泄漏的大模型 Nebula,效果据说特别好,打败了o1、o3mini、Claude3.7 Thinking等等模型:网友们通过询问和分析 API,发现这似乎是谷歌正在秘密演练的新推理模型!推测可能是 Google Gemini 2.0 Pro Thinking:
在过去的一两年中,Transformer 架构不断面临来自新兴架构的挑战。