首篇潜空间推理综述！模型思考不必依赖Token，带宽暴增2700+倍
首篇潜空间推理综述！模型思考不必依赖Token，带宽暴增2700+倍大模型在潜空间中推理，带宽能达到普通（显式）思维链（CoT）的2700多倍？
来自主题: AI技术研报
7550 点击 2025-07-16 15:26
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大模型在潜空间中推理，带宽能达到普通（显式）思维链（CoT）的2700多倍？
最近，Mamba 作者之一 Albert Gu 又发新研究，他参与的一篇论文《 Dynamic Chunking for End-to-End Hierarchical Sequence Modeling 》提出了一个分层网络 H-Net，其用模型内部的动态分块过程取代 tokenization，从而自动发现和操作有意义的数据单元。
「Tokenization（分词）是 Transformer 模型为弥补自身缺陷不得不戴上的枷锁。」
2025年6月，AI 代码编辑器 Cursor 因定价模式调整引发广泛争议。原先的“按次计费”（per-request billing）改为基于 token 的“按量计费”（usage-based pricing），导致部分用户面临意外扣费，社区反馈强烈Cursor 于7月5日发布致歉声明，承诺退款并澄清新计费模式。
大模型记忆管理和优化框架是当前各大厂商争相优化的热点方向，MemOS 相比现有 OpenAI 的全局记忆在大模型记忆评测集上呈现出显著的提升，平均准确性提升超过 38.97%，Tokens 的开销进一步降低 60.95%，一举登顶记忆管理的 SOTA 框架，特别是在考验框架时序建模与检索能力的时序推理任务上，提升比例更是达到了 159%，相当震撼！
2017 年，一篇《Attention Is All You Need》论文成为 AI 发展的一个重要分水岭，其中提出的 Transformer 依然是现今主流语言模型的基础范式。尤其是在基于 Transformer 的语言模型的 Scaling Law 得到实验验证后，AI 领域的发展更是进入了快车道。
多图像、长视频、细粒度感知正在让大型视觉语言模型（LVLM）变得越来越聪明，但也越来越“吃不消”：视觉Token数量的激增所带来的推理成本暴涨，正逐渐成为多模态智能扩展的最大算力瓶颈。
一次性揭秘Gemini多模态技术！就在刚刚，Gemini模型行为产品负责人Ani Baddepudi在谷歌自家的开发者频道开启了爆料模式。
OpenRouter 又上新神秘模型了，支持 100 万 token 上下文，猜猜是谁家的。 刚刚，OpenRouter 上出现了一个神秘模型，该模型被命名为「Cypher Alpha」。其可以免费使用，100 万 token 上下文，还具有推理能力。
近年来，随着视觉生成模型的发展，视觉生成任务的输入序列长度逐渐增长（高分辨率生成，视频多帧生成，可达到 10K-100K）。