
「有望成为Transformer杀手」,谷歌DeepMind新架构MoR实现两倍推理速度
「有望成为Transformer杀手」,谷歌DeepMind新架构MoR实现两倍推理速度大型语言模型已展现出卓越的能力,但其部署仍面临巨大的计算与内存开销所带来的挑战。随着模型参数规模扩大至数千亿级别,训练和推理的成本变得高昂,阻碍了其在许多实际应用中的推广与落地。
大型语言模型已展现出卓越的能力,但其部署仍面临巨大的计算与内存开销所带来的挑战。随着模型参数规模扩大至数千亿级别,训练和推理的成本变得高昂,阻碍了其在许多实际应用中的推广与落地。
Transformer杀手来了?KAIST、谷歌DeepMind等机构刚刚发布的MoR架构,推理速度翻倍、内存减半,直接重塑了LLM的性能边界,全面碾压了传统的Transformer。网友们直呼炸裂:又一个改变游戏规则的炸弹来了。
剧本杀大家都玩过吗?这是一种经典的桌上角色扮演游戏(TTRPG), 游戏中的核心人物是游戏主持人(GM), 相当于整个世界的「导演 + 编剧 + 旁白」,负责掌控游戏环境,讲述故事背景,并扮演所有非玩家角色(NPC)。
反思技术因其简单性和有效性受到了广泛的研究和应用,具体表现为在大语言模型遇到障碍或困难时,提示其“再想一下”,可以显著提升性能 [1]。然而,2024 年谷歌 DeepMind 的研究人员在一项研究中指出,大模型其实分不清对与错,如果不是仅仅提示模型反思那些它回答错误的问题,这样的提示策略反而可能让模型更倾向于把回答正确的答案改错 [2]。
曾被 OpenAI 相中,开价 30 亿美元的 AI 编程初创公司 Windsurf,如今转身投奔了 Google。就在刚刚,Google 宣布将 Windsurf 部分高管及工程团队纳入其旗下的 DeepMind 团队,重点推进「代理式编码」(Agentic Coding)方向的研究。
当前,大语言模型(LLMs)在编程领域的能力受到广泛关注,相关论断在市场中普遍存在,例如 DeepMind 的 AlphaCode 曾宣称达到人类竞技编程选手的水平
刚刚,AI制药从理论迈向实践的关键一步!DeepMind分拆公司,亮出「秘密武器」:基于AlphaFold系统研发的候选药物,已进入人体临床实验。这意味着将大幅缩短新药研发周期、降低成本,加速新药惠及患者。
DeepMind新研究揭示了当与推理无关的想法,被直接注入到模型的推理过程中时,它们却难以恢复,而且越大的模型越难恢复。
What?LLM也要看出身!确实,不同的数据集训出的模型“个性”会有大不同,尤其在加之权衡方面。这就像我们经常与自己内心相互竞争的目标和价值观作斗争。
前有AlphaFold破解蛋白质之谜,今有AlphaGenome揭示DNA天书。谷歌DeepMind最新103页力作,用AI成功预测基因突变,一次即可读取100万个DNA碱基,精度无「模」能敌。