「Tokens是胡扯」，Mamba作者抛出颠覆性观点，揭露Transformer深层缺陷
「Tokens是胡扯」，Mamba作者抛出颠覆性观点，揭露Transformer深层缺陷「Tokenization（分词）是 Transformer 模型为弥补自身缺陷不得不戴上的枷锁。」
来自主题: AI技术研报
5333 点击 2025-07-10 13:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
「Tokenization（分词）是 Transformer 模型为弥补自身缺陷不得不戴上的枷锁。」
来自加州大学河滨分校（UC Riverside）、密歇根大学（University of Michigan）、威斯康星大学麦迪逊分校（University of Wisconsin–Madison）、德州农工大学（Texas A&M University）的团队在 ICCV 2025 发表首个面向自动驾驶语义占用栅格构造或预测任务的统一基准框架 UniOcc。
最新调查称，全球仅有8%的人愿意为AI买单！然而，科技巨头们正以「创新」之名，将AI硬塞进日常软件中。一位外国小哥Ted Gioia发文吐槽自己被微软AI全家桶绑架，每月不得不花冤枉钱。
清华大学朱军教授团队提出SageAttention3，利用FP4量化实现推理加速，比FlashAttention快5倍，同时探索了8比特注意力用于训练任务的可行性，在微调中实现了无损性能。
据The Information报道，微软正在重绘其自研人工智能服务器芯片的产品路线图，将在未来几年内专注于推出设计更保守、开发难度更低的芯片版本，目标是在2028年前克服当前导致研发延迟的一系列问题。
面对扩散模型推理速度慢、成本高的问题，HKUST&北航&商汤提出了全新缓存加速方案——HarmoniCa：训练-推理协同的特征缓存加速框架，突破DiT架构在部署端的速度瓶颈，成功实现高性能无损加速。
2017 年，一篇《Attention Is All You Need》论文成为 AI 发展的一个重要分水岭，其中提出的 Transformer 依然是现今主流语言模型的基础范式。尤其是在基于 Transformer 的语言模型的 Scaling Law 得到实验验证后，AI 领域的发展更是进入了快车道。
近年来，基于智能体的强化学习（Agent + RL）与智能体优化（Agent Optimization）在学术界引发了广泛关注。然而，实现具备工具调用能力的端到端智能体训练，首要瓶颈在于高质量任务数据的极度稀缺。
在 AI 工具风靡开发圈之前，一批经验丰富的资深程序员，对它们始终保持警惕。这些人，包括 Flask 作者 Armin Ronacher（17 年开发经验）、PSPDFKit 创始人 Peter Steinberger（17 年 iOS 和 macOS 开发经验），以及 Django 联合作者 Simon Willison（25 年编程经验）。然而，就在今年，他们的看法都发生了根本转变。
阿里巴巴达摩院提出了 WorldVLA, 首次将世界模型 (World Model) 和动作模型 (Action Model/VLA Model) 融合到了一个模型中。WorldVLA 是一个统一了文本、图片、动作理解和生成的全自回归模型。