在处理短文本时，大语言模型（LLM）已经表现出惊人的理解和生成能力。但现实世界中的许多任务 —— 如长文档理解、复杂问答、检索增强生成（RAG）等 —— 都需要模型处理成千上万甚至几十万长度的上下文。
众所周知，大型语言模型（LLM）的根本运作方式是预测下一个 token（词元），能够保证生成的连贯性和逻辑性，但这既是 LLM 强大能力的「灵魂」所在，也是其枷锁，将导致高昂的计算成本和响应延迟。 可
这说明o1不仅能够使用语言，还能够思考语言，具备元语言能力（metalinguistic capacity ）。由于语言模型只是在预测句子中的下一个单词，人对语言的深层理解在质上有所不同。因此，一些语言学家表示，大模型实际上并没有在处理语言。
现在AI都懂文物懂历史了。一项来自北京大学的最新研究引发关注：他们推出了全球首个面向古希腊陶罐的3D视觉问答数据集——VaseVQA-3D，并配套推出了专用视觉语言模型VaseVLM。这意味着，AI正在从“识图机器”迈向“文化考古Agent”。
大型语言模型（LLMs）正迅速成为从金融到交通等各个专业领域不可或缺的辅助决策工具。但目前LLM的“通用智能”在面对高度专业化、高风险的任务时，往往显得力不从心。
大模型一个token一个token生成，效率太低怎么办？
在大语言模型（LLM）席卷各类复杂任务的今天，“测试时扩展”（Test-Time Scaling，TTS）已成为提升模型推理能力的核心思路 —— 简单来说，就是在模型 “答题” 时分配更多的计算资源来让它表现更好。严格来说，Test-Time Scaling 分成两类：
扩散大语言模型得到了突飞猛进的发展，早在 25 年 2 月 Inception Labs 推出 Mercury—— 第一个商业级扩散大型语言模型，同期人民大学发布第一个开源 8B 扩散大语言模型 LLaDA，5 月份 Gemini Diffusion 也接踵而至。
大语言模型（LLM）的「炼丹师」们，或许都曾面临一个共同的困扰：为不同任务、不同模型手动调整解码超参数（如 temperature 和 top-p）。这个过程不仅耗时耗力，而且一旦模型或任务发生变化，历史经验便瞬间失效，一切又得从头再来。
现代 LLM 通常依赖显式的文本生成过程（例如「思维链」）来进行「思考」训练。这种策略将推理任务推迟到训练后的阶段，未能充分挖掘预训练数据中的潜力。
