# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
幻觉不是 bug，是数学上的宿命。
谢菲尔德大学的最新研究证明，大语言模型的幻觉问题在数学上不可避免——
即使用完美的训练数据也无法根除。
而更为扎心的是，OpenAI 提出的置信度阈值方案虽能减少幻觉，但代价是用户体验崩塌和成本飙升。
想象一下你在造句。
你说出第一个词，然后基于这个词说第二个词，再基于前两个词说第三个词……
就像多米诺骨牌，一个接一个。
语言模型就是这样工作的：预测下一个单词。
问题来了：如果第三个词预测错了怎么办？
后面所有的词都会基于这个错误继续预测，错误像雪球一样越滚越大。
但如果只是回答「是」或「否」呢？模型只需要做一次选择，在两个选项里选一个。
没有连锁反应，没有误差累积。
这就是研究的核心发现：
生成完整句子的错误率至少是简单是非题的两倍。
不是因为模型笨，而是因为句子是一条长长的预测链，每个环节都可能出错；而是非题只是一个点。
模型的记忆竟然也有「等级制度」。
在训练时，有些事实反复出现上百次，模型记得滚瓜烂熟；有些事实只出现一两次，模型只有模糊印象。
研究用生日做了个实验：假设训练数据中 20% 的人物生日只被提及过一次。
对这些人来说，模型相当于只有一次记忆痕迹。
就像你只见过一次的人的生日，你能记住吗？
结果很现实：当你询问这些生日时，至少 20% 会答错。
说白了，稀有事实天生就更容易产生幻觉。这不是模型的错，是数据频率的必然结果。
最扯的是这个。
研究团队审计了 10 个主流 AI 基准测试，包括 Google、OpenAI 使用的，以及各大排行榜。发现其中9个采用二元评分制：
这是什么逻辑？
就像考试时，不会做的选择题你会怎么办？
反正空着也是零分，不如蒙一个，万一蒙对了呢？
模型也是这么想的。
数学证明：无论答案正确的概率多低，猜测的期望得分永远高于放弃。
所以我们一边抱怨 AI 乱说话，一边用评分系统逼它成为自信的骗子。
OpenAI 提出了一个听起来很合理的方案：让模型先评估自己的置信度，只有足够确定（比如 75% 以上）才回答。
数学上确实可行：不确定就闭嘴，幻觉自然减少。
但用户体验呢？
根据训练数据中事实不确定性的分析，如果真这么做，ChatGPT 会对至少 30% 的问题回答「我不知道」。
你能接受一个三句话就说一次「不知道」的 AI 吗？
用户已经被惯坏了，习惯了对任何问题都能得到自信满满的回答。
突然变成「不知道」专业户，谁还会用呢？
就算用户能忍受频繁的「我不知道」，还有个更现实的问题：钱。
评估置信度可不是拍脑袋就行的。模型需要：
这意味着，每个问题的计算量成倍增加。
对于每天处理数百万查询的 ChatGPT 来说，运营成本会飙升到什么程度？
可能 OpenAI 自己都不敢算这笔账。
换用更高级的方法呢？比如主动学习：让 AI 提问来澄清不确定性。
效果会更好，但计算需求将进一步增加。
值得注意的是，在某些领域，这些成本是值得的。
比如芯片设计、金融交易、医疗诊断。
在这些场景下，一个错误可能造成数百万美元损失或危及生命。额外的计算成本相比之下微不足道。
这也是为什么企业级 AI 系统往往更谨慎、更慢、更贵。
它们付得起「诚实」的代价。
但消费级应用？用户要的是快速、便宜、什么都懂的助手。
市场的选择会很明确。
一个实用的缓解策略是改变提问方式：把复杂任务分解成简单的是非判断。
思维链加上验证步骤，会比直接生成可靠得多。
另一个思路是多模型协作。让 2-3 个不同训练的模型一起工作，互相验证。
但这只是处理症状，不是根治，而且成本会显著增加。
至于更远的未来，当我们讨论超级人工智能（ASI）时，这个问题变得更加严峻：
你能接受一个会产生幻觉的 ASI 吗？
如果连对齐（alignment）都因为幻觉问题而变得不可能，我们是否需要重新思考整个 AI 发展路径？
研究最后揭示了一个残酷真相：
当前推动消费级 AI 发展的商业激励，与减少幻觉的目标在根本上是冲突的。
快速、便宜、自信的回复能带来用户增长和商业成功；缓慢、昂贵、谨慎的回答虽然更准确，但市场不买账。
除非这个激励机制改变，否则幻觉将永远伴随着我们。
[1]原始论文：Why OpenAI's solution to AI hallucinations would kill ChatGPT tomorrow: https://theconversation.com/why-openais-solution-to-ai-hallucinations-would-kill-chatgpt-tomorrow-265107
[2]OpenAI 关于语言模型幻觉的研究: https://openai.com/index/why-language-models-hallucinate/
文章来自于微信公众号 “AGI Hunt”，作者 “AGI Hunt”
