
谷歌Transformer过时了?清华姚班校友等三连击,爆改注意力!
谷歌Transformer过时了?清华姚班校友等三连击,爆改注意力!RNN太老,Transformer太慢?谷歌掀翻Transformer王座,用「注意力偏向+保留门」取代传统遗忘机制,重新定义了AI架构设计。全新模型Moneta、Yaad、Memora,在多个任务上全面超越Transformer。这一次,谷歌不是调参,而是换脑!
来自主题: AI技术研报
7011 点击 2025-06-07 14:19
RNN太老,Transformer太慢?谷歌掀翻Transformer王座,用「注意力偏向+保留门」取代传统遗忘机制,重新定义了AI架构设计。全新模型Moneta、Yaad、Memora,在多个任务上全面超越Transformer。这一次,谷歌不是调参,而是换脑!
随着人工智能的发展,AI问答模型在各种应用场景中表现出色,尤其是在信息检索和知识问答领域。传统的RAG模型通过结合外部知识库的实时检索与生成模型,极大地提升了回答的准确性。然而,这类模型仍然面临一个重要挑战:无法有效处理长期信息,尤其是在需要持续记忆和动态更新知识的场景中表现不佳。
自理海大学、微软研究院的研究者提出了一种多智能体框架 Mora,该框架整合了几种先进的视觉 AI 智能体,以复制 Sora 所展示的通用视频生成能力。
用不了多久,开源版的Sora就会涌来!理海大学微软团队已经做出一种全新多AI智能体框架Mora,可以完全复刻Sora能力,且生成视频效果几乎不相上下。
Sora复刻版出现了——Mora,还是多智能体那种。Sora有的能力它基本都有,比如文本转视频、扩展视频、视频编辑、视频拼接、模拟数字世界等等。