搜索
AI「幻觉」可能在一般人看来是模型的胡言乱语，但它为科学家提供了新的灵感。David Baker甚至利用AI「幻觉」赢得了诺贝尔化学奖。纽约时报发文AI正在加速科学发展，但「幻觉」一词，在科学界仍有争议。
谷歌推出的FACTS Grounding基准测试，能评估AI模型在特定上下文中生成准确文本的能力，有助于提升模型的可靠性；通过去除不满足用户需求的回复，确保了评分的准确性和模型排名的公正性。
大语言模型（LLM）在各种任务上展示了卓越的性能。然而，受到幻觉（hallucination）的影响，LLM 生成的内容有时会出现错误或与事实不符，这限制了其在实际应用中的可靠性。
大模型幻觉，究竟是怎么来的？谷歌、苹果等机构研究人员发现，大模型知道的远比表现的要多。它们能够在内部编码正确答案，却依旧输出了错误内容。
在人工智能领域，大型预训练模型（如 GPT 和 LLaVA）的 “幻觉” 现象常被视为一个难以克服的挑战，尤其是在执行精确任务如图像分割时。
如今，人们选择餐厅，多半会打开app搜索一番，再看看排名。然而美国奥斯汀的一家餐厅Ethos的存在证实这种选择机制多么不可靠。Ethos在社交媒体instagram宣称是当地排名第一的餐厅，拥有7万余粉丝。
OpenAI的AI语音转写工具，那个号称近乎“人类水平”的Whisper，被曝幻觉严重—— 100多小时转录，被工程师发现约一半都在瞎扯。 更严重的是，美联社还爆料有医疗机构利用Whisper来转录医生与患者的会诊，瞬间引发大量网友关注。
哈佛大学研究了大型语言模型在回答晦涩难懂和有争议问题时产生「幻觉」的原因，发现模型输出的准确性高度依赖于训练数据的质量和数量。研究结果指出，大模型在处理有广泛共识的问题时表现较好，但在面对争议性或信息不足的主题时则容易产生误导性的回答。
现有的大模型主要依赖固定的参数和数据来存储知识，一旦训练完成，修改和更新特定知识的代价极大，常常因知识谬误导致模型输出不准确或引发「幻觉」现象。因此，如何对大模型的知识记忆进行精确控制和编辑，成为当前研究的前沿热点。
这个小假期，让我感觉很崩溃的是，一项新的研究彻底打破了我们的幻想：LLM的幻觉问题不仅难以解决，而且 从根本上来说是无法100%完全消除的。