既然后训练这么重要，那么作为初学者，应该掌握哪些知识？大家不妨看看这篇博客《Post-training 101》，可以很好的入门 LLM 后训练相关知识。从对下一个 token 预测过渡到指令跟随； 监督微调（SFT） 基本原理，包括数据集构建与损失函数设计；
1.3千万亿，一个令人咂舌的数字。这就是谷歌每月处理的Tokens用量。据谷歌“宣传委员”Logan Kilpatrick透露，这一数据来自谷歌对旗下各平台的内部统计。那么在中文世界里，1.3千万亿Tokens约2.17千万亿汉字。换算成对话量，一本《红楼梦》的字数在70-80万左右，相当于一个月内所有人和谷歌AI聊了近30亿本《红楼梦》的内容。
什么AI应用公司和方向是OpenAI看好的？这不，OpenAI公布了30家Tokens消耗破万亿的“大金主”。榜单按每家公司接入OpenAI API挂名人的姓氏排序，排名不分先后，初创公司多数由联合创始人亲自挂名，而大型企业则由专门的AI部门负责人负责对接。
当所有人还在为参数内卷时，智能体真正的决胜点已经转向了速度与成本。浪潮信息用两款AI服务器直接给出了答案：一个将token生成速度干到10毫秒以内，一个把每百万token成本打到1元时代。
杜克大学团队发现，扩散大语言模型只需关注少量「中奖」token，就能在推理时把速度提升61-97倍，还能让模型更懂格式、更听话。新策略DPad不训练也能零成本挑出关键信息，实现「少算多准」的双赢。
LightVLA 是一个旨在提升 VLA 推理效率且同时提升性能的视觉 token 剪枝框架。当前 VLA 模型在具身智能领域仍面临推理代价大而无法大规模部署的问题，然而大多数免训练剪枝框架依赖于中间注意力输出，并且会面临性能与效率的权衡问题。
正所谓“得数据者得天下”，这家央企算是把高质量数据集给玩明白了——超过10万亿tokens的通用大模型语料数据，以及覆盖14个关键行业的专业数据集，总存储量高达350TB！
刚刚，Meta FAIR推出了代码世界模型！CWM（Code World Model），一个参数量为32B、上下文大小达131k token的密集语言模型，专为代码生成和推理打造的研究模型。这是全球首个将世界模型系统性引入代码生成的语言模型。
xAI重磅推出Grok 4 Fast，创新融合推理与非推理双模式，支持200万token上下文。在NYT Connections基准和AA智能指数中表现卓越，超越多家顶级模型，标志着AI智能获取门槛的进一步降低。
最近，来自加州大学圣克鲁兹分校、乔治·梅森大学和Datadog的研究人员发现：在心算任务中，几乎所有实际的数学计算都集中在序列的最后一个token上完成，而不是分散在所有token中。
