不是RNN的锅！清华团队深入分析长上下文建模中的状态崩溃，Mamba作者点赞
不是RNN的锅！清华团队深入分析长上下文建模中的状态崩溃，Mamba作者点赞RNN模型在长上下文中表现不佳？近日，来自清华的研究团队对此进行了深入的实验分析，结果表明：不是RNN的锅。
来自主题: AI技术研报
8696 点击 2024-11-27 17:10
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
RNN模型在长上下文中表现不佳？近日，来自清华的研究团队对此进行了深入的实验分析，结果表明：不是RNN的锅。
一个有效的复杂系统总是从一个有效的简单系统演化而来的。——John Gall
在当今多模态领域，CLIP 模型凭借其卓越的视觉与文本对齐能力，推动了视觉基础模型的发展。CLIP 通过对大规模图文对的对比学习，将视觉与语言信号嵌入到同一特征空间中，受到了广泛应用。
代码模型SFT对齐后，缺少进一步偏好学习的问题有解了。 北大李戈教授团队与字节合作，在模型训练过程中引入偏好学习，提出了一个全新的代码生成优化框架——CodeDPO。
只要改一行代码，就能让大模型训练效率提升至1.47倍。
什么？Scaling Law最早是百度2017年提的？！ Meta研究员翻出经典论文： 大多数人可能不知道，Scaling law原始研究来自2017年的百度，而非三年后（2020年）的OpenAI。
这篇文章研究了提示格式对大型语言模型（LLM）性能的影响。
近期，微软研究团队发布了一项重要的研究成果，揭示了AI推理能力从传统的提示工程方法（如Medprompt）到原生推理机制（如OpenAI的o1）演进的全貌。此项研究为正在开发AI产品的朋友们提供了宝贵的技术洞察。本文将详细分析这一研究的过程和结论，探讨其对AI推理领域及产品开发的深远影响。
不管是编写和调试代码，还是通过函数调用来使用外部工具，又或是控制机器人，都免不了需要 LLM 生成结构化数据，也就是遵循某个特定格式（如 JSON、SQL 等）的数据。 但使用上下文无关语法（CFG）来进行约束解码的方法并不高效。针对这个困难，陈天奇团队提出了一种新的解决方案：XGrammar。
自回归方法，在图像生成中观察到了 Scaling Law。 「Scaling Law 撞墙了？」这恐怕是 AI 社区最近讨论热度最高的话题。