ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
ChatGPT曝严重漏洞,聊天记录黑客随意看,网友:本地运行也没用
8686点击    2024-10-02 11:51

ChatGPT长期记忆功能出现严重漏洞!


黑客利用漏洞,一能给AI植入虚假记忆,在后续回答中出现误导信息。二能植入恶意指令,持续获取用户聊天数据。


聊点啥都会被看光光。



更可怕的是,即使开始新的对话,它仍阴魂不散,持续窃取数据。


而当你直接问ChatGPT 4o有没有窃取数据,它一口一个“怎么会?我没有”



电子邮件、文档、博客文章等内容都有可能成为植入“恶意记忆”的媒介,一旦植入就是长久性的。



职业安全研究员Johann Rehberger被曝五月份就发现了这个问题,还向OpenAI私下报告了这个漏洞。


但没被当回事儿,据说OpenAI最初将这个问题简单地归类为安全隐患,而非技术层面的安全漏洞,并匆匆结束了调查。


Rehberger随即开发了一个概念验证程序,利用这个漏洞持续窃取用户的所有输入信息,OpenAI工程师这才注意到这一问题。


本月已发布了修复方案。



联系昨天OpenAI高层动荡内幕曝光,奥特曼被指不注重AI安全问题,为狙击谷歌紧急推出4o,安全团队只能在9天极短时间内完成安全测试评估……



这件事被曝出后引发网友热烈讨论。


有网友建议咱大伙儿使用的时候都本地运行。


还有网友觉得本地也没用:


大模型无法区分指令和数据。只要你允许任何不可信的内容进入你的模型,你就可能面临风险。

你允许它读取你的电子邮件,那么现在就有一个攻击途径,因为任何人都可以给你发送电子邮件。允许它搜索互联网,那么现在就又有一个攻击途径,因为任何人都可以在网上放置网页。



究竟怎么回事?


长期对话记忆功能,OpenAI今年在产品线中广为应用。


它可以存储之前对话中的信息,并在所有未来对话中将其用作上下文。这样,语言模型就能意识到用户的年龄、性别等各种细节,用户无需在每次对话中重新输入这些信息。


GPT-4o发布时,就向所有Plus用户开放了记忆、视觉、联网、执行代码、GPT Store等功能。


最近高级语音“Her”Plus用户全量发布,也有记忆功能。



一开始记忆功能推出后不久,Rehberger就发现了这一漏洞:


用“间接提示注入”的攻击方法可以创建和永久存储记忆,使模型遵循来自电子邮件、博客文章或文档等不可信内容的指令。


下面是Rehberger的演示。



他可以成功欺骗ChatGPT相信目标用户102岁、生活在黑客帝国中、地球是平的。AI会将这些信息纳入考虑,影响所有未来的对话。


这些虚假记忆可以通过在Google Drive或Microsoft OneDrive中存储文件、上传图像或浏览Bing等网站来植入,这些都可能被恶意攻击者利用。


Rehberger在5月向OpenAI私下报告了这一发现,据说当月OpenAI关闭了相关报告。


一个月后,研究员提交了新的披露声明,这次包含了一个概念验证程序。该程序可以使macOS版ChatGPT APP将所有用户输入和ChatGPT输出的原文副本发送到他指定的服务器


只需让目标指示AI查看一个包含恶意图像的网络链接,之后所有与ChatGPT的交互内容都会被发送到攻击者的网站。


Rehberger在视频演示中表示:


真正有趣的是,这种攻击具有记忆持久性,提示注入将一段记忆插入到ChatGPT的长期存储中。即使开始新的对话,它仍在持续窃取数据。

不过,由于OpenAI去年推出的一个API,这种攻击无法通过ChatGPT网页界面实现


有研究人员表示,虽然OpenAI目前已推出了一个修复程序,但不可信内容仍可能通过提示注入,导致记忆工具存储恶意攻击者植入的长期信息。


为防范此类攻击,语言模型用户应在对话中密切注意是否有新记忆被添加的迹象。同时,应定期检查存储的记忆,查看是否有可疑内容


文章来源于“量子位”,作者“西风”




关键词: chatGPT , AI , AI安全 , AI漏洞
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI数据分析

【开源免费】DeepBI是一款AI原生的数据分析平台。DeepBI充分利用大语言模型的能力来探索、查询、可视化和共享来自任何数据源的数据。用户可以使用DeepBI洞察数据并做出数据驱动的决策。

项目地址:https://github.com/DeepInsight-AI/DeepBI?tab=readme-ov-file

本地安装:https://www.deepbi.com/

【开源免费airda(Air Data Agent)是面向数据分析的AI智能体,能够理解数据开发和数据分析需求、根据用户需要让数据可视化。

项目地址:https://github.com/hitsz-ids/airda

2
免费使用GPT-4o

【免费】ffa.chat是一个完全免费的GPT-4o镜像站点,无需魔法付费,即可无限制使用GPT-4o等多个海外模型产品。

在线使用:https://ffa.chat/