
「有望成为Transformer杀手」,谷歌DeepMind新架构MoR实现两倍推理速度
「有望成为Transformer杀手」,谷歌DeepMind新架构MoR实现两倍推理速度大型语言模型已展现出卓越的能力,但其部署仍面临巨大的计算与内存开销所带来的挑战。随着模型参数规模扩大至数千亿级别,训练和推理的成本变得高昂,阻碍了其在许多实际应用中的推广与落地。
大型语言模型已展现出卓越的能力,但其部署仍面临巨大的计算与内存开销所带来的挑战。随着模型参数规模扩大至数千亿级别,训练和推理的成本变得高昂,阻碍了其在许多实际应用中的推广与落地。
最近几个月,由谷歌和 Meta 前研究人员建立的欧洲的 AI 初创公司 Mistral AI 有些躁动不安。他们将 Le Chat 再一次升级,引入了一些强大的新功能,使其更强大、更直观,也更有趣,在功能上几乎全方位对标 ChatGPT。
Transformer杀手来了?KAIST、谷歌DeepMind等机构刚刚发布的MoR架构,推理速度翻倍、内存减半,直接重塑了LLM的性能边界,全面碾压了传统的Transformer。网友们直呼炸裂:又一个改变游戏规则的炸弹来了。
Meta 143亿美元收购Scale AI近一半的股份,竟便宜了其竞争对手!仅在达成协议后的48小时内,多家竞争对手们纷纷表示:泼天的富贵来了!「我们的服务器都快爆了!」
难得难得,几大AI巨头不竞争了不抢人了,改联合一起发研究了。
Google双线出击!T5Gemma重燃encoder-decoder架构战火,性能暴涨12分;MedGemma坚守decoder-only路线,强攻医疗多模态,击穿闭源壁垒。Gemma体系完成「架构+落地」双重进化,打响Google开源反击战。
在细分赛道和大公司拼速度、产品打磨和产品定位,月14日消息,在日前硅谷创业孵化器YC举办的创业学院活动中,Perplexity CEO阿拉温德·斯里尼瓦斯(Aravind Srinivas)与YC合伙人戴维·利布(David Lieb)展开了深度对话。
在5月中旬,谷歌发布了AlphaEvolve。不仅30天内攻克了18年未解的难题,或将开启了一场无需「灵感」的科学革命:未来,科学家将不再依赖直觉,而是靠AI解决难题!
反思技术因其简单性和有效性受到了广泛的研究和应用,具体表现为在大语言模型遇到障碍或困难时,提示其“再想一下”,可以显著提升性能 [1]。然而,2024 年谷歌 DeepMind 的研究人员在一项研究中指出,大模型其实分不清对与错,如果不是仅仅提示模型反思那些它回答错误的问题,这样的提示策略反而可能让模型更倾向于把回答正确的答案改错 [2]。
谷歌曾被OpenAI甩在身后,27岁小哥却凭一己之力成为谷歌AI的「流量密码」。他用硬核技术和贴心互动,成了开发者心中的知心大哥。