
谷歌全面整合AI力量背后:DeepMind浮沉史
谷歌全面整合AI力量背后:DeepMind浮沉史硅谷的人才争夺战愈演愈烈。
硅谷的人才争夺战愈演愈烈。
2024 年谷歌研究学者计划(Research Scholar Program)获奖名单公布了。获奖者最高将获得 6 万美元奖金,用于支持研究工作。
上周扎克伯格把Meta AI 聊天机器人向公众开放了
Transformer 的重要性无需多言,目前也有很多研究团队致力于改进这种变革性技术,其中一个重要的改进方向是提升 Transformer 的效率,比如让其具备自适应计算能力,从而可以节省下不必要的计算。
通过这项技术,能使transformer大模型在有限的计算资源 条件下,处理无限长度的输入。
2016 年,Google CEO 桑达尔·皮查伊在 I/O 开发者大会上豪情满怀地向全世界宣布: Google 已经成为了搜索的代名词,Alphabet 未来将成为一家 AI 优先的公司。
为解决大模型(LLMs)在处理超长输入序列时遇到的内存限制问题,本文作者提出了一种新型架构:Infini-Transformer,它可以在有限内存条件下,让基于Transformer的大语言模型(LLMs)高效处理无限长的输入序列。实验结果表明:Infini-Transformer在长上下文语言建模任务上超越了基线模型,内存最高可节约114倍。
它通过将压缩记忆(compressive memory)整合到线性注意力机制中,用来处理无限长上下文
谷歌又放大招了,发布下一代 Transformer 模型 Infini-Transformer。
昨天的谷歌Next大会可是太精彩了,谷歌一连放出不少炸弹。 - 升级「视频版」Imagen 2.0,下场AI视频模型大混战 - 发布时被Sora光环掩盖的Gemini 1.5 Pro,正式开放 - 首款Arm架构CPU发布,全面对垒微软/亚马逊/英伟达/英特尔