过去几年，大语言模型（LLM）的训练大多依赖于基于人类或数据偏好的强化学习（Preference-based Reinforcement Fine-tuning, PBRFT）：输入提示、输出文本、获得一个偏好分数。这一范式催生了 GPT-4、Llama-3 等成功的早期大模型，但局限也日益明显：缺乏长期规划、环境交互与持续学习能力。
苹果研究人员发现，在大模型中，极少量的参数，即便只有0.01%，仍可能包含数十万权重，他们将这一发现称为「超级权重」。超级权重点透了大模型「命门」，使大模型走出「炼丹玄学」。
训练大模型时，有时让它“记性差一点”，反而更聪明！ 大语言模型如果不加约束，很容易把训练数据原封不动地复刻出来。为解决这个问题，来自马里兰大学、图宾根大学和马普所的研究团队提出了一个新方法——金鱼损失（Goldfish Loss）。
大语言模型通过 CoT 已具备强大的数学推理能力，而 Beam Search、DVTS 等测试时扩展（Test-Time Scaling, TTS）方法可通过分配额外计算资源进一步提升准确性。然而，现有方法存在两大关键缺陷：路径同质化（推理路径趋同）和中间结果利用不足（大量高质量推理分支被丢弃）。
随着DeepSeek R1、Kimi K2和DeepSeek V3.1混合专家（MoE）模型的相继发布，它们已成为智能前沿领域大语言模型（LLM）的领先架构。由于其庞大的规模（1万亿参数及以上）和稀疏计算模式（每个token仅激活部分参数而非整个模型），MoE式LLM对推理工作负载提出了重大挑战，显著改变了底层的推理经济学。
如今，人工智能已经成为科技发展的主流，尤其是 ChatGPT 问世以来，大语言模型（LLM）正在深刻影响社会、企业和个人的方方面面。
当前基于大语言模型（LLM）的智能体构建通过推动自主科学研究推动 AI4S 迅猛发展，催生一系列科研智能体的构建与应用。然而人工智能与自然科学研究之间认知论与方法论的偏差，对科研智能体系统的设计、训练以及验证产生着较大阻碍。
谷歌DeepMind最新Nature王炸，直接把Gemini版大模型PH-LLM调教成了「AI健康私教」，把可穿戴冷冰冰的数据，直接变成睡眠健身建议，结果准确率暴打人类医生。
大语言模型正加速重塑软件工程领域的各个环节，从需求分析到代码生成，再到自动化测试，几乎无所不能，但衡量这些模型到底「好不好用」、「好在哪里」、「还有哪些短板」，一直缺乏系统、权威的评估工具。
当大语言模型（LLM）走向千行百业，推理效率与显存成本的矛盾日益尖锐。
