生成式 AI 并不是软件开发“神药”，开发者需警惕这三大幻觉
生成式 AI 并不是软件开发“神药”，开发者需警惕这三大幻觉软件行业苦降本增效久已。蔓延开去的开发周期，遥遥无望的上线时间，以及不断冒起的缺陷，怎么看都配不上这支精兵强将的队伍。生成式 AI 似乎带来了曙光，
来自主题: AI资讯
9138 点击 2023-12-25 11:56
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
软件行业苦降本增效久已。蔓延开去的开发周期，遥遥无望的上线时间，以及不断冒起的缺陷，怎么看都配不上这支精兵强将的队伍。生成式 AI 似乎带来了曙光，
人工智能系统的“幻觉”是由于其工作原理和结构决定的，它们并非大脑模型，无法准确地描述事实。然而，人们使用人工智能系统通常是为了完成创造性的任务，而创造力涉及某种启发式的搜索过程。
大模型长期以来一直存在一个致命的问题，即生成幻觉。由于数据集的复杂性，难免会包含过时和错误的信息，这使得输出质量面临着极大的挑战。过多的重复信息还可能导致大型模型产生偏见，这也算是一种形式的幻觉。
大模型就是「造梦机」！幻觉是LLM与生俱来的特性，而非缺陷。OpenAI科学家Andrej Karpathy独特视角在AI社区掀起了激烈的讨论。
现在的GPT-4，未来的GPT-5，相较于前几个版本性能更强。安全挑战，史无前例。
本文讨论了大模型AI在语言生成中常出现的“幻觉”现象，即生成与输入信息不符的胡话。作者解释了“幻觉”的成因和影响，并介绍了降低“幻觉”的一些努力和突破。
基于LVLM幻觉频发的三个成因（物体共现、物体不确定性、物体位置），北卡教堂山、斯坦福、哥大、罗格斯等大学的研究人员提出幻觉修正器LURE，通过修改描述来降低幻觉问题。
视觉幻觉是常见于多模态大语言模型的一个典型问题。最近，来自中科大等机构的研究人员提出了首个多模态修正架构「啄木鸟」，可有效解决MLLM输出幻觉的问题。
相比于一味规避“有毒”数据，以毒攻毒，干脆给大模型喂点错误文本，再让模型剖析、反思出错的原因，反而能够让模型真正理解“错在哪儿了”，进而避免胡说八道。
大规模语言模型在众多下游任务中展现了惊人的能力，但它们在使用中仍然暴露了一些问题。其中，幻觉是目前影响大模型落地的重要问题之一。