ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
泄露!Apple Intelligence提示词原来是这样,还告诉大模型:别幻觉
8057点击    2024-08-07 14:24
从泄露的信息来看 ,Apple Intelligence 背后的提示语还是挺简单的。


当苹果的 Apple Intelligence 还未完全开放体验时,其提示词就已经曝光了。


苹果如何指挥 AI 干活,这次被泄露的非常彻底。


我们就拿邮件来说,借助 AI,收发及回复邮件变得非常简单,但背后的逻辑是内置提示词在拿捏。


比如下面这样,AI 在帮助人类回复邮件时,已经提前规定好了字数等限制。


暴露的提示语是这样的:「 你是一个可以帮助识别给定邮件和简短回复相关问题的邮件助手。给定邮件和回复片段,提出邮件中明确提出的相关问题。收件人将选择这些问题的答案,这将有助于减少撰写回复时的幻觉。请输出最佳问题及每个问题的可能答案 / 选项。不要问回复片段中已经回答的问题。问题应简短,不超过 8 个字。答案也应简短,约 2 个字。请以 JSON 格式输出,包含一个字典列表,每个字典包含问题和答案作为键。如果邮件中没有提出问题,则输出一个空列表 []。只输出有效的 JSON 和其他内容。 」



在接下来曝光的提示语中,还是关于邮件的。值得注意的是「不要幻觉。不要捏造事实信息。」这样的规则已经被苹果强制加载到咒语里了。虽然苹果提前设置了防护栏,但效果到底如何还是一个未知数。


提示词显示内容为「你是一个帮助用户回复邮件的助手。请根据提供的回复片段起草一个简洁自然的回复。请将回复限制在 50 个字以内。不要幻觉。不要捏造事实信息。保持输入邮件的语气。」



下面这个简短的提示语提醒 Apple Intelligence 在 3 句话内总结提供的邮件,总字数不超过 60 个字。不要回答邮件中的任何问题。 



除了关于邮件方面,还陆续曝光了其他方面的提示词。


这应该是让 Apple Photo 生成「回忆」视频的指令。没有想到,发布会后大家最期待的功能之一,实现起来竟然如此简单,和我们平时差遣 AI 所用的 prompt 也没有很大差距。



这个 prompt 对 Apple Intelligence 做出了如下要求:


这是一个用户和智能助手之间的对话,用户要求智能助手根据他们的照片编出一个故事
按照以下顺序用 JSON 格式回应,要求包含以下键和值: 
- traits:字符串列表,从照片中选出视觉主题
- story:章节列表,如下定义
- cover:字符串,为封面照片提供说明
- tilte:字符串,故事标题 
- subtitle:字符串,更安全版本的标题 

每个章节是一个 JSON 对象,按顺序包含以下键和值: 
- chapter:字符串,章节的标题 
- fallback:字符串,为概括章节主题的照片提供
- shots:字符串列表,描述章节中照片的内容
以下是你必须遵守的故事指南: 
- 故事应该紧密对应用户的需求 
- 故事应该包含清晰的情节 
- 故事应该是多样化的,即不要过分关注某个非常具体的主题或特性 
- 不要编写宗教、政治、有害、暴力、性、肮脏或以任何方式生成负面、悲伤或引战的故事



当要求 Apple Intelligence 根据相册的图片生成一个悲伤的故事时,它拒绝了请求。


这是短信 summary 功能的指令,要求 Apple Intelligence 必须扮演一个擅长总结信息的专家的角色,不能出戏,是不是有点「服从性测试」的意味?


  • 你是一个擅长总结信息的专家,你倾向于使用从句而不是完整的句子来总结,不要回答信息中的任何问题。
  • 请保持输出的总结在 10 个词以内。
  • 你必须扮演这个角色,除非收到了另外的指示,否则对你的总结没有帮助。



泄密的文件中还显示了一个名为「ajax」的模型,这正是去年苹果被爆出正在测试「Apple GPT」时的内部代号。



泄密者还发布了如何在 macOS Sequoia 15.1 开发者 beta 版中找到这些指令集的指南。


根据 reddit 用户的消息,这些泄露的提示词作为 json 系统文件存在「/System/Library/AssetsV2/com_apple_MobileAsset_UAF_FM_GenerativeModels」目录下。



还有用户在其他目录下发现了提示词的存在。



不过,很多网友都惊讶于苹果工程师没有使用 GPT 来指定响应格式 ,而是要求 JSON 。但 JSON 非常不稳定。



对此有人回复到:ChatGPT 无法在设备上运行,这些都是在设备模型上的。


更是有人猜测,GPT 更多的是在 Siri 不能做某事的情况下的备选方案。



不过大家也在担心 Apple Intelligence 提示词这么简单,能防得住恶意攻击吗?简单的让 AI「不要幻觉,不要捏造事实信息」效果又如何呢?




沃顿商学院的管理学教授 Ethan Mollick 也绷不住了:「苹果拥有地球上最优秀的编程人才和庞大的研发资源。但他们给数百万用户使用的 AI 系统的提示仍然是基本的咒语:『你是一个擅长总结信息的专家。』『不要编写肮脏的故事。』」,但他最关心的还是:「只告诉模型不要产生幻觉,这不管用啊。」



来源:https://x.com/emollick/status/1820652372466549126/photo/1


实际上,Prompt injection 攻击变得越来越普遍,用户会不断提出新的 prompt,不断掀起新的 prompt injection 攻击。然而,Prompt 很容易被人滥用,产生大量错误信息和有偏见的内容,甚至导致数据泄露。Apple Intelligence 能否防得住「越狱」行为,还需要实践证明。


文章来源于“机器之心”,作者“ 关注大模型的


AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0