随着大型语言模型在各类任务中展现出卓越的生成与推理能力，如何将模型输出精确地追溯到其内部计算过程，已成为 AI 可解释性研究的重要方向。然而，现有方法往往计算代价高昂、难以揭示中间层的信息流动；同时，不同层面的归因（如 token、模型组件或表示子空间）通常依赖各自独立的特定方法，缺乏统一且高效的分析框架。
导读 过去两年，小语言模型（SLM）在业界备受关注：参数更少、结构更轻，理应在真实部署中 “更快”。但只要真正把它们跑在 GPU 上，结论往往令人意外 —— 小模型其实没有想象中那么快。
在大语言模型（LLM）的研究浪潮中，绝大多数工作都聚焦于优化模型的输出分布 —— 扩大模型规模、强化分布学习、优化奖励信号…… 然而，如何将这些输出分布真正转化为高质量的生成结果 —— 即解码（decoding）阶段，却没有得到足够的重视。
近日，OpenAI被曝正面临越发增长的推理费用，作为有史以来最能烧钱的初创公司，其运行大语言模型的成本可能无法通过收入来支撑。
而今天，来自 UIUC、华盛顿大学等机构的一群研究人员，通过一篇重磅论文《推理的认知基础及其在大型语言模型中的体现》，为这个“认知鸿沟”画出了一张精确的微观解剖图。
腾讯混元大模型团队正式发布并开源HunyuanOCR模型！这是一款商业级、开源且轻量（1B参数）的OCR专用视觉语言模型，模型采用原生ViT和轻量LLM结合的架构。目前，该模型在抱抱脸（Hugging Face）趋势榜排名前四，GitHub标星超过700，并在Day 0被vllm官方团队接入。
人工智能在过去的十年中，以惊人的速度革新了信息处理和内容生成的方式。然而，无论是大语言模型（LLM）本体，还是基于检索增强生成（RAG）的系统，在实际应用中都暴露出了一个深层的局限性：缺乏跨越时间的、可演化的、个性化的“记忆”。它们擅长瞬时推理，却难以实现持续积累经验、反思历史、乃至真正像人一样成长的目标。
视觉-语言-动作模型（VLA）在机器人操控领域展现出巨大潜力。通过赋予预训练视觉-语言模型（VLM）动作生成能力，机器人能够理解自然语言指令并在多样化场景中展现出强大的泛化能力。然而，这类模型在应对长时序或精细操作任务时，仍然存在性能下降的现象。
ChatGPT 横空出世之前，字节跳动曾在 2021年有过一次提前关注大语言模型的机会
随着大型视觉语言模型在多个下游任务的广泛应用，其潜在的安全风险也开始快速显露。研究表明，即便是最先进的大型视觉语言模型，也可能在面对带有隐蔽的恶意意图的图像 — 文本输入时给出违规甚至有害的响应，而现有的轻量级的安全对齐方案都具有一定的局限性。
