RNN回归！Bengio新作大道至简与Transformer一较高下
RNN回归！Bengio新作大道至简与Transformer一较高下近日，深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。
来自主题: AI技术研报
2847 点击 2024-10-25 14:42
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近日，深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。
OpenAI 下一代新模型还要多久才能到来？最新的消息是 12 月份之前。 据外媒 The Verge 报道，OpenAI 计划在 12 月之前推出其下一个前沿模型 Orion（猎户座）。
iOS带着ChatGPT来了 苹果开发者测试版系统上新！更多Apple Intelligence功能已经可用了，包括ChatGPT集成。 iOS 18终于带着ChatGPT来了。
TL;DR：DuoAttention 通过将大语言模型的注意力头分为检索头（Retrieval Heads，需要完整 KV 缓存）和流式头（Streaming Heads，只需固定量 KV 缓存），大幅提升了长上下文推理的效率，显著减少内存消耗、同时提高解码（Decoding）和预填充（Pre-filling）速度，同时在长短上下文任务中保持了准确率。
过去 24 小时内发布或更新的 AI 服务包括但不限于 Stable Diffusion 3.5 最强模型全家桶、能操作用户电脑的 Claude 3.5 Sonnet、Genmo 开源的可商用的 Mochi 1 DiT、Runway 推出的一款生成式角色表演工具…… 以及我们这里要介绍 Ideogram Canvas，一款基于 AI 的无限创意画板服务，可用于组织、生成、编辑和组合图像。
开源数字人实时对话Demo来了～
在NLP领域，研究者们已经充分认识并认可了表征学习的重要性，那么视觉领域的生成模型呢？最近，谢赛宁团队发表的一篇研究就拿出了非常有力的证据：Representation matters！
就在刚刚，Stability AI发布了自家最强的模型Stable Diffusion 3.5，而且是一个全家桶，包含三个版本。
7 年前，谷歌在论文《Attention is All You Need》中提出了 Transformer。就在 Transformer 提出的第二年，谷歌又发布了 Universal Transformer（UT）。它的核心特征是通过跨层共享参数来实现深度循环，从而重新引入了 RNN 具有的循环表达能力。
又快又准，即插即用！清华8比特量化Attention，两倍加速于FlashAttention2，各端到端任务均不掉点！