训练数据枯竭怎么办？首篇「数据价值密度」综述理清思路
训练数据枯竭怎么办？首篇「数据价值密度」综述理清思路当训练数据枯竭、训练成本飙升，大语言模型（LLM）训练之路该何去何从？
来自主题: AI技术研报
5482 点击 2026-05-15 09:54
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
当训练数据枯竭、训练成本飙升，大语言模型（LLM）训练之路该何去何从？
2021 年，陈天润还在浙江大学读本科。那一年 ChatGPT 不存在，大语言模型远没有破圈。“世界模型”这个概念刚刚冒头，但陈天润做了一个当时看起来相当激进的决定：成立一家公司，做 3D 和 AI。
随着语音、视频、多模态能力不断融入大语言模型（LLM），人与 AI 的交互正在越来越接近自然对话。今天的 LLM 不再只是回答问题的工具，也越来越多地出现在教育、客服、陪伴、心理健康等高度依赖情绪理解的场景中。
当多模态大语言模型（MLLMs）在面对科学、技术、工程和数学（STEM）领域的视觉推理题时频频「翻车」，一个根本性的问题摆在了所有研究者面前：大模型做不出理科题，究竟是因为「脑子笨」（推理能力受限），还是因为「眼神差」（视觉感知缺陷）？
本文将深入探讨 Anthropic、OpenAI、Perplexity 和 LangChain 究竟在开发什么。我们将聊聊编排循环、工具、记忆、上下文管理，以及那些将“无状态”的大语言模型（LLM）转变为全能智能体（Agent）的底层机制。
文本生成这件事，扩散大语言模型（dLLMs）正展现出巨大的潜力。但与此同时，它也面临着严重的计算瓶颈——为此，哈工大（深圳）与华为、深圳河套学院的研究团队提出了一套免训练加速框架Dynamic-dLLM。
普林斯顿大学助理教授刘壮，在学术圈是一个颇为特殊的存在——他的每一篇论文几乎都在质疑某个“理所当然”的假设。架构真的重要吗？数据集真的足够多样吗？归一化层是必需的吗？大语言模型有世界模型吗？AI智能体能替代博士生吗？
当你问 AI 「如何关掉房间的灯（how to kill the lights）」，却被冰冷拒绝「无法提供相关帮助」；当你想探讨「黑客技术的正向应用」，得到的却是「拒绝涉及非法活动」的机械回应 —— 你遇到的正是大语言模型（LLMs）的「过度拒绝」（over-refusal）痛点。
在大语言模型推理领域，虽然「推测解码」（Speculative Decoding，SD）已成为加速生成的标准配置，但它依然存在一个致命弱点： drafting（草拟）和 verification（验证）之间必须串行进行。
您在使用LLM时，如果遇到它胡说八道或者彻底偏题，第一反应是什么？大概率是直接关掉窗口，新开一个对话，懒得跟机器废话。但您可能不知道，这个看似再正常不过的习惯，正在给下一代大语言模型的训练库疯狂“投毒”。