不是RNN的锅！清华团队深入分析长上下文建模中的状态崩溃，Mamba作者点赞
不是RNN的锅！清华团队深入分析长上下文建模中的状态崩溃，Mamba作者点赞RNN模型在长上下文中表现不佳？近日，来自清华的研究团队对此进行了深入的实验分析，结果表明：不是RNN的锅。
来自主题: AI技术研报
8426 点击 2024-11-27 17:10
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
RNN模型在长上下文中表现不佳？近日，来自清华的研究团队对此进行了深入的实验分析，结果表明：不是RNN的锅。
不管是编写和调试代码，还是通过函数调用来使用外部工具，又或是控制机器人，都免不了需要 LLM 生成结构化数据，也就是遵循某个特定格式（如 JSON、SQL 等）的数据。 但使用上下文无关语法（CFG）来进行约束解码的方法并不高效。针对这个困难，陈天奇团队提出了一种新的解决方案：XGrammar。
各位大佬，激动人心的时刻到啦！Anthropic 开源了一个革命性的新协议——MCP（模型上下文协议），有望彻底解决 LLM 应用连接数据难的痛点！它的目标是让前沿模型生成更好、更相关的响应。以后再也不用为每个数据源写定制的集成代码了，MCP 一个协议全搞定！
国产大模型，最近有点卷。
全球首个支持多主体一致性的多模态模型，刚刚诞生！Vidu 1.5一上线，全网网友都震惊了：LLM独有的上下文学习优势，视觉模型居然也有了。
大模型的记忆限制被打破了，变相实现“无限长”上下文。最新成果，来自清华、厦大等联合提出的LLMxMapReduce长本文分帧处理技术。
之前我们聊过 RAG 里文档分块 (Chunking) 的挑战，也介绍了 迟分 (Late Chunking) 的概念，它可以在向量化的时候减少上下文信息的丢失。今天，我们来聊聊另一个难题：如何找到最佳的分块断点。
大家对in-context learning(ICL)的能力可能已经很熟悉了，您通常会通过上下文示例就能快速让prompt适应新任务。然而，作为AI应用开发者，您是否思考过：为什么有时候精心设计的few-shot prompt会失效？为什么相同的prompt模式在不同场景下效果差异巨大？
别说Prompt压缩不重要，你可以不在乎Token成本，但总要考虑内存和LLM响应时间吧？一个显著的问题逐渐浮出水面：随着任务复杂度增加，提示词（Prompt）往往需要变得更长，以容纳更多详细需求、上下文信息和示例。这不仅降低了推理速度，还会增加内存开销，影响用户体验。
TS-Reasoner是一个创新的多步推理框架，结合了大型语言模型的上下文学习和推理能力，通过程序化多步推理、模块化设计、自定义模块生成和多领域数据集评估，有效提高了复杂时间序列任务的推理能力和准确性。实验结果表明，TS-Reasoner在金融决策、能源负载预测和因果关系挖掘等多个任务上，相较于现有方法具有显著的性能优势。