搜索
近年来，Mixture-of-Experts（MoE）已经成为大模型扩展的重要架构之一。相比稠密 Transformer，MoE 通过稀疏激活机制，在每个 token 上只调用少量专家，从而在控制计算成本的同时扩大模型容量。然而，一个长期存在的问题是：专家越多，并不意味着专家真的学得越 “专”。
英伟达提出了全球首个三模式的大语言模型系列，只需简单更改注意力模式 / 掩码，即可在自回归、扩散和自推测解码之间切换。一个模型，三种解码模式，没有额外的草稿模型，没有架构变更。最快的模式 token 吞吐量能提升 4 倍。
Token之战要追求数量，更要追求质量。
iOS用户还要再等等。
让 AI 来管理代码的话，每次读 500 行反而比读 1000 行更费 Token，而且人工编排流程真不如让大模型自己定，「很多的事儿，还是很反直觉的」
Agent不再只住在云端——联想携手此芯科技，把190 TOPS本地AI算力装进手掌大小的AI主机，让每个人都能拥有一座7×24小时运行的私人Token工厂。
奥赛级科学推理，一定要从更大的通用模型开始吗？
自从黄仁勋在 GTC 上大手一挥，鼓励企业把 token 消耗量算进工程师的 KPI，魔幻的事情就一天比一天多了。
过去一段时间，很多人对大模型都有一个明显感受：token 总是不够用。
大语言模型真的只能走“预测下一个token”的路子吗？