
谷歌Transformer过时了?清华姚班校友等三连击,爆改注意力!
谷歌Transformer过时了?清华姚班校友等三连击,爆改注意力!RNN太老,Transformer太慢?谷歌掀翻Transformer王座,用「注意力偏向+保留门」取代传统遗忘机制,重新定义了AI架构设计。全新模型Moneta、Yaad、Memora,在多个任务上全面超越Transformer。这一次,谷歌不是调参,而是换脑!
RNN太老,Transformer太慢?谷歌掀翻Transformer王座,用「注意力偏向+保留门」取代传统遗忘机制,重新定义了AI架构设计。全新模型Moneta、Yaad、Memora,在多个任务上全面超越Transformer。这一次,谷歌不是调参,而是换脑!
本文介绍的工作由中国人民大学高瓴人工智能学院李崇轩、文继荣教授团队与蚂蚁集团共同完成。朱峰琪、王榕甄、聂燊是中国人民大学高瓴人工智能学院的博士生,导师为李崇轩副教授。
6 月 6 日,小红书 hi lab(Humane Intelligence Lab,人文智能实验室)团队首次开源了文本大模型 dots.llm1,采用 MIT 许可证。
马斯克xAI联合Scale AI训练语音模型,提升自然对话与安全管控。6月6日消息,据媒体获取的文件显示,埃隆·马斯克旗下的人工智能公司xAI正利用一系列问题训练其AI语音模型
6月6日, 由中共重庆市委金融委员会办公室、重庆市商务委员会、重庆两江新区管理委员会共同指导,由消费金融服务联盟、打击金融领域黑产联盟(AIF)联合主办,马上消费等19家金融机构、重庆广播电视(总台)第1眼TV等协办的“2025消费金融生态大会”在重庆举行。
AI 开始从理解文字,全面进化到建模世界、操控实体、模拟大脑、解构分子。
自ChatGPT问世,李明顺成了“网红”。他没有下场做大模型,而是密集地通过短视频平台输出对AI的看法。
在文本推理领域,以GPT-o1、DeepSeek-R1为代表的 “慢思考” 模型凭借显式反思机制,在数学和科学任务上展现出远超 “快思考” 模型(如 GPT-4o)的优势。
逻辑推理是人类智能的核心能力,也是多模态大语言模型 (MLLMs) 的关键能力。随着DeepSeek-R1等具备强大推理能力的LLM的出现,研究人员开始探索如何将推理能力引入多模态大模型(MLLMs)
这500天里,AI视频模型,从寥寥星火,也到如今满眼璀璨星河。这500天里,天翻地覆,绣口一吐,就是近半个盛唐。 从孤舟一叶,到如今千帆竞渡如潮。