搜索
随着大模型参数规模持续扩大，推理成本已经成为生产级 LLM 服务的核心瓶颈。投机解码（Speculative Decoding, SD）通过「小模型 draft + 大模型 verify」的方式，将多个候选 token 放到一次目标模型前向中并行验证，从而缓解自回归解码的串行瓶颈。
商汤最近做了一件大多数大模型公司都不舍得做的事。每 5 小时 1500 次免费调用，Token 消耗比同行低 60%，三款新产品同步上线，还把核心模型 U1 以 Apache 2.0 协议全面开源——在大模型公司普遍在想怎么收费的当下，商汤在反向操作。
5月12日，小米集团总裁卢伟冰发文：为回馈全球开发者，小米正式启动「MiMo Orbit 100T Token 计划」，面向全球 AI 用户免费发放 Token 权益，计划在 30 天内累计发放 100 万亿 Token。
以 DeepSeek-R1、OpenAI GPT Thinking 为代表的大型推理模型，通过长达数千 token 的「思维链」在各类复杂推理任务中展现出卓越的性能。然而，这些模型普遍存在一个核心问题，即过度思考（overthinking） ：
NVIDIA Dynamo 团队发现，Claude Code 向自定义端点发送请求时，prompt 最前面会带一行 session-specific billing header。这行 header 每个 session 都变，导致 52K token 的稳定前缀在 KV cache 中无法复用——TTFT 从 168ms 飙到 912ms。Dynamo 加了一个 `
大模型常因只关注当前预测而显得短视。Next-ToBE通过调整训练目标，让模型在每一步预测时兼顾未来token分布，从而提升整体推理能力。
5月9日，Hermes Agent（昵称：爱马仕）登顶OpenRouter全球应用调用量榜首，首次超越OpenClaw（昵称：龙虾）。据OpenRouter应用Token消耗榜最新数据，这一Nous Research旗下开源自进化Agent产品登顶全球应用Token消耗榜，单日Token消耗量达到271B，也就是2710亿Token。
中国移动发布Token运营体系，不是简单卖AI算力，而是要把网络、算力、模型、应用和10亿用户连接起来，打造AI时代的「新梦网」。
最近快手上线的KroWork，解决的就是这件事。让没有技术背景的普通人也拥有制造这类工具的能力！你跟它说一遍需求，它帮你把活儿干完，然后直接把整个流程变成一个可以直接打开的、有界面的、能反复使用的本地软件。
LenVM将长度建模提升到token级别，开辟可扩展价值预训练的新维度——3B开源模型精确长度控制全面击败GPT-5.4、Claude-Opus-4-6等顶级闭源模型；相同token预算下推理准确率提升10倍（63% vs 6%）；沿模型规模、数据量、采样数三轴无饱和scaling的value pretraining