这个访谈回应了所有AI焦点问题，他是AI最重要论文的联合作者
这个访谈回应了所有AI焦点问题，他是AI最重要论文的联合作者随着scaling law撞墙新闻爆出，全球科技圈、资本市场关于大模型发展触及天花板的讨论愈演愈烈。那么，AI发展是否放缓？后续又将如何发展？商业模式如何突破？
来自主题: AI资讯
5715 点击 2024-11-27 09:05
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着scaling law撞墙新闻爆出，全球科技圈、资本市场关于大模型发展触及天花板的讨论愈演愈烈。那么，AI发展是否放缓？后续又将如何发展？商业模式如何突破？
本期我们邀请到了 Hedra 的联合创始人兼 CEO Michael。他曾在斯坦福大学攻读博士学位，由吴教授和李飞飞教授共同指导，专注于物理世界建模与具身智能的交叉研究。在 NVIDIA 的 Omniverse 团队实习期间，他参与了 Omni-Gibson 的研究，对模拟物理与真实感表现系统的结合有深入探索，同时对电影、电视剧和动画等娱乐行业充满热情。
随着大语言模型在长文本场景下的需求不断涌现，其核心的注意力机制（Attention Mechanism）也获得了非常多的关注。
西风
有了 TEN（Transformative Extensions Network，变革性扩展网络），开发者们终于不用再「绞尽脑汁」了！TEN 是全球首个真正实现实时多模态智能体的框架，不仅能减少开发痛点，还让你轻松从头开始构建下一代 AI 应用。
从 AlphaGo、AlphaZero 、MuZero 到 AlphaCode、AlphaTensor，再到最近的 Gemini 和 AlphaProof，Julian Schrittwieser 的工作成果似乎比他的名字更广为人知。
家人们，OpenAI 又上新了！推出了全新的生成式模型sCM(Simplifying Continuous-Time Consistency Models)，支持视频、图像、三维模型和音频的生成。
TL;DR：DuoAttention 通过将大语言模型的注意力头分为检索头（Retrieval Heads，需要完整 KV 缓存）和流式头（Streaming Heads，只需固定量 KV 缓存），大幅提升了长上下文推理的效率，显著减少内存消耗、同时提高解码（Decoding）和预填充（Pre-filling）速度，同时在长短上下文任务中保持了准确率。
7 年前，谷歌在论文《Attention is All You Need》中提出了 Transformer。就在 Transformer 提出的第二年，谷歌又发布了 Universal Transformer（UT）。它的核心特征是通过跨层共享参数来实现深度循环，从而重新引入了 RNN 具有的循环表达能力。
又快又准，即插即用！清华8比特量化Attention，两倍加速于FlashAttention2，各端到端任务均不掉点！