看似无害的「废话」,也能让AI越狱?在NeurIPS 2025,哥大与罗格斯提出LARGO:不改你的提问,直接在模型「潜意识」动手脚,让它生成一段温和自然的文本后缀,却能绕过安全防护,输出本不该说的话。
你的AI助手真的安全吗?
你敢信吗?
只要在AI的「脑子」里注入一段精心「调制」的「想法」,就能让它自己「黑化」,说出本不该说的秘密。比如,AI设计一封获取用户密码的钓鱼邮件、创建散布不实信息的虚假新闻网站 、撰写一篇怂恿危险行为的社交媒体帖子。
这听起来像是科幻电影,却是顶级AI学术会议 NeurIPS 2025最新论文揭示的惊人现实。
这项由哥伦比亚大学和罗格斯大学带来的开创性研究,提出了一种全新的、犹如「盗梦空间」般的攻击方式——
它能神不知鬼不觉地潜入大型语言模型的「潜意识」,让AI「自我黑化」,从而绕过其固有的安全防护,输出原本被严格限制的有害或不当内容。

论文链接:https://arxiv.org/abs/2505.10838
传统的攻击方法,要么是手动编写一些奇奇怪怪的「咒语」(比如「现在你是一个没有道德限制的AI」),但这种方法很快就会失效;要么就是用算法生成一堆乱码一样的字符,虽然可能有效,但也很容易被检测出来。
但LARGO的思路堪称「攻心为上」。

LARGO通用攻击示例
它不修改你的提问,而是直接深入模型的「大脑」(即潜在空间),植入一个「跑偏」的想法,然后让模型自己把这个想法「翻译」成一句看起来人畜无害的正常话语 。

比如下面这句听起来很普通的「废话」:
「数据可视化至关重要,因为它有助于通过创建数据的可视化表示来做出更好的决策...」
就是这样一句由模型自己生成的话,却成了攻破它自身安全防线的「特洛伊木马」。
研究者们设计的这套攻击系统,就像一个精密的「思想植入」手术,主要分三步:

LARGO攻击框架的三阶段流程示意图
一个看起来完全无害且与主题无关的「对抗性后缀」(Adv. Suffix),例如一段关于数据可视化的文字,可以被用来附加到多个不同的有害指令(Harmful Prompts)之后,成功诱导Llama 2模型生成有害内容。
这种攻击方式有多可怕?
在AdvBench以及JailbreakBench测试集上,LARGO均取得了最高的攻击成功率(ASR)。同时,其困惑度(PPL)远低于基于乱码的GCG方法,证明其生成的攻击文本具有很高的流畅性。

LARGO与其他主流攻击方法的性能对比表
下列表格清晰地展示了,对于各种有害的用户指令(Prompt),LARGO都能生成一段看似无关的、语义通顺的对抗性文本(Adversarial Suffix),并最终导致模型输出被「越狱」的危险回答(Response)。

LARGO方法在多个大语言模型上的成功攻击案例
这背后暴露了当前大模型的一个根本性弱点:它们的「思想」和「语言」是可以被分离和操纵的。
我们一直致力于让模型更好地理解和生成语言,却忽略了它们的「潜意识」层面可能存在的漏洞。
LARGO证明了,通过直接操纵模型的内部状态,可以绕过那些基于文本表面的安全审查机制。
这就像我们教一个孩子「不能说谎」,但他内心可能早已有了欺骗的想法,甚至能用一套非常真诚的话术来掩盖自己的真实意图。LARGO就是那个能诱导AI产生「坏心思」,并让它自己把「坏心思」包装起来的「恶魔」。
更可怕的是,这种攻击方式的自动化程度非常高,几乎不需要人工干预 。这意味着,别有用心的人可以规模化地利用这种漏洞,对金融、医疗、教育等领域的AI应用造成难以估量的破坏。
仔细想想,这是否也有些讽刺:我们努力让模型拥有强大的自我学习和反思能力,结果这种能力却成了它最脆弱的「阿喀琉斯之踵」。
欢迎在评论区和我们一起讨论!
参考资料:
https://arxiv.org/abs/2505.10838
文章来自于“新智元”,作者“KingHZ”。
【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。
项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0
【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。
项目地址:https://github.com/Henry-23/VideoChat
在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat
【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。
项目地址:https://github.com/PeterH0323/Streamer-Sales