谢菲尔德大学：模型幻觉的数学必然性
谢菲尔德大学：模型幻觉的数学必然性幻觉不是 bug，是数学上的宿命。 谢菲尔德大学的最新研究证明，大语言模型的幻觉问题在数学上不可避免—— 即使用完美的训练数据也无法根除。 而更为扎心的是，OpenAI 提出的置信度阈值方案虽能减少幻
来自主题: AI技术研报
9492 点击 2025-09-15 08:34
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
幻觉不是 bug，是数学上的宿命。 谢菲尔德大学的最新研究证明，大语言模型的幻觉问题在数学上不可避免—— 即使用完美的训练数据也无法根除。 而更为扎心的是，OpenAI 提出的置信度阈值方案虽能减少幻
只用 1.5% 的内存预算，性能就能超越使用完整 KV cache 的模型，这意味着大语言模型的推理成本可以大幅降低。EvolKV 的这一突破为实际部署中的内存优化提供了全新思路。
挑战自回归的扩散语言模型刚刚迎来了一个新里程碑：蚂蚁集团和人大联合团队用 20T 数据，从零训练出了业界首个原生 MoE 架构扩散语言模型 LLaDA-MoE。该模型虽然激活参数仅 1.4B，但性能可以比肩参数更多的自回归稠密模型 Qwen2.5-3B，而且推理速度更快。这为扩散语言模型的技术可行性提供了关键验证。
幻觉并非什么神秘现象，而是现代语言模型训练和评估方式下必然的统计结果。它是一种无意的、因不确定而产生的错误。根据OpenAI9月4号论文的证明，模型产生幻觉(Hallucination)，是一种系统性缺陷。
训练、推理性价比创新高。 大语言模型（LLM），正在进入 Next Level。 周五凌晨，阿里通义团队正式发布、开源了下一代基础模型架构 Qwen3-Next。总参数 80B 的模型仅激活 3B ，性能就可媲美千问 3 旗舰版 235B 模型，也超越了 Gemini-2.5-Flash-Thinking，实现了模型计算效率的重大突破。
大语言模型的局限在哪里？
机器具备意识吗？本文对AI意识（AI consciousness）进行了考察，特别是深入探讨了大语言模型作为高级计算模型实例是否具备意识，以及AI意识的必要和充分条件。
在当前由大语言模型（LLM）驱动的技术范式中，检索增强生成（RAG）已成为提升模型知识能力与缓解「幻觉」的核心技术。然而，现有 RAG 系统在面对需多步逻辑推理任务时仍存在显著局限，具体挑战如下：
过去几年，大语言模型（LLM）的训练大多依赖于基于人类或数据偏好的强化学习（Preference-based Reinforcement Fine-tuning, PBRFT）：输入提示、输出文本、获得一个偏好分数。这一范式催生了 GPT-4、Llama-3 等成功的早期大模型，但局限也日益明显：缺乏长期规划、环境交互与持续学习能力。
在大型语言模型（LLM）进行数学题、逻辑推理等复杂任务时，一个非常流行且有效的方法叫做 “自洽性”（Self-Consistency），通常也被称为“平行思考”。