爆火Block Diffusion引发LLM架构变革?自回归+扩散模型完美结合 | ICLR 2025
爆火Block Diffusion引发LLM架构变革?自回归+扩散模型完美结合 | ICLR 2025块离散去噪扩散语言模型(BD3-LMs)结合自回归模型和扩散模型的优势,解决了现有扩散模型生成长度受限、推理效率低和生成质量低的问题。通过块状扩散实现任意长度生成,利用键值缓存提升效率,并通过优化噪声调度降低训练方差,达到扩散模型中最高的预测准确性,同时生成效率和质量优于其他扩散模型。
块离散去噪扩散语言模型(BD3-LMs)结合自回归模型和扩散模型的优势,解决了现有扩散模型生成长度受限、推理效率低和生成质量低的问题。通过块状扩散实现任意长度生成,利用键值缓存提升效率,并通过优化噪声调度降低训练方差,达到扩散模型中最高的预测准确性,同时生成效率和质量优于其他扩散模型。
过去20年,STEM博士创业率狂跌38%。这背后,是知识负担带来的结果。当代科学家需要掌握的知识量呈爆炸式增长,做出科研成果的年龄被拉长到40多岁。AI会是下一个出路吗?
DeepSeek深夜偷袭。昨天晚上,他们的v3模型,有了一波更新,版本号到了DeepSeek-V3-0324,而且是直接开源的。
自 24 年 11 月起,我开始动手打造一个专注于 AI视频作品展示 的网站。在 AI 的助力下,我独立完成了 前后端与插件开发,成功落地了人生第一款真正意义上的个人作品。这篇文章将围绕 项目介绍、开发历程、工具使用心得、小白成长思考 等方面,分享我在这几个月中的所有收获与感悟。
权力游戏:阿布扎比250亿美元的美国AI革命赌局
视觉+语音=更强的语音识别!BPO-AVASR通过优化音视频输入和输出偏好,提升语音识别在真实场景中的准确性,解决了传统方法在噪声、口语化和视觉信息利用不足的问题。
3D 视觉定位(3D Visual Grounding, 3DVG)是智能体理解和交互三维世界的重要任务,旨在让 AI 根据自然语言描述在 3D 场景中找到指定物体。
3月24日,从自然资源部获悉,国家海洋环境预报中心联合海洋出版社有限公司和三六零数字安全科技集团有限公司,以360智脑13B和Deepseek-R1-70B大模型为基座成功开发了海洋垂直领域大语言模型——“瀚海智语”(英文名称OceanDS)。
哎!最近推特上的网友在LMSYS Arena 发现了个泄漏的大模型 Nebula,效果据说特别好,打败了o1、o3mini、Claude3.7 Thinking等等模型:网友们通过询问和分析 API,发现这似乎是谷歌正在秘密演练的新推理模型!推测可能是 Google Gemini 2.0 Pro Thinking:
毅伯智算TORA3000性能超H20 1.8倍,FP8优化降本增效。