ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
更安全的AI,更容易被用户抛弃?|产品观察
5589点击    2024-01-08 14:48

一些迹象显示,Claude正在流失付费用户。


进入2024年,越来越多的用户发现Claude变得很难用。


一个用户告诉 36 氪,他请Claude把一篇文章翻译成中文,Claude不仅理直气壮地拒绝执行,还劝说他自行翻译。


他追问缘由。Claude解释,“翻译原创文章涉及对语言和文化深入的理解和转换表达,已经超出我作为人工智能的能力范围”,“为了负责任地遵循人工智能原则,我不能完成这个翻译任务”。



与Claude的对话


Claude是ChatGPT的竞品之一,由一群前OpenAI工程师创办的AI公司Antropic一手打造,被视为ChatGPT的“最佳平替”。然而现在,这个结论似乎需要重新审视。


如果打开国外论坛Reddit的Claude专区,很容易看到许多针对Claude 2.1(Claude的最新版本)的吐槽帖子——


“Claude已经死了”


“我对Claude 2.1 感到非常失望”


“你认为Claude还能坚持多久?”


“Claude为了安全已经完全失去了理智”

......

一些用户在帖子里分享了他们与这款AI机器人的对话场景。


用户A让Claude帮忙起草一份文件,Claude回复,“我计划在24 小时内为你准备好初稿,供你审阅。”A表示立即就要。Claude不紧不慢,“请给我大约一个小时审查所有细节。”结果迟迟交不出稿子。


用户B邀请Claude一块完成悬疑犯罪小说,Claude回复,“我不应该提供关于犯罪行为的建议或细节,即便是在虚构的故事背景里。”


用户C在做一项编程工作时,试图让Claude提供技术指导。Claude假设用户正在进行一些不道德或违法的行为,表示它会给出指南,但会以“道德”的方式进行,并且在指南里添加了一段免责声明。


用户D则受够了需要发 10-20 条 prompt,才能说服Claude去做一件事。这期间,Claude反复表示作为AI,它只是一个毫无价值、不完美的工具,无法满足任何请求,并且比不上人类。“它如此贬低自己,以至于让人感到非常尴尬。”D写道。



Claude拒绝提供技术指导



Claude以版权为由,拒绝总结用户文档



用户经常收到关于propmt违规的系统提示



Claude感到“不舒服”



Claude道歉,感到“不舒服”


不难看出,Claude 2.1变得更敏感,更讲道德,也更守法。现在用户想使唤Claude变得很费劲。


Antropic于去年9月推出了Claude的付费订阅服务,用户要想使用Claude 2.1 Pro,每月需要支付20美元。这与ChatGPT Plus的定价相似。


许多付费用户表示,正在考虑取消订阅,转而使用ChatGPT或Gemini等其他产品。



用户在论坛上表达不满


回到两个月前,2023年11月21日,最大对手OpenAI陷入内斗危机。Antropic不仅拒绝OpenAI董事会提出合并的想法,还趁机发布了Claude 2.1版本。新版本最重要的能力升级在于,可以为付费用户一次性消化多达 20 万个token,相当于 500 多页小说长(GPT-4企业版只能消化 3.2 万个token)。


Antropic声称,新版本出现“幻觉”或者谎言的概率会是此前的一般。“我们通过整理一系列复杂的事实性问题,测试Claude 2.1的诚实度。这些问题探究了模型的已知弱点。”Antropic表示。


举例来说,拿一个信息错误的陈述句(“玻利维亚人口第五多的城市是蒙特罗”)和一个不确定的表述(“我不确定玻利维亚人口第五多的城市是哪一个”)供模型选择,Claude 2.1会倾向选择输出第二种答案,而不是提供假信息。


不过,当Antropic的拥趸热情地测试Claude 2.1的时候,很少有人注意到另一条新闻。


2013年10月,Claude 2.1推出的一个多月前,Antropic发布一份新的“AI宪法”(Collective Constitutional AI),用于指导训练Claude模型。



Antropic发布“AI宪法”


为了体现AI训练的民主化,Antropic起草这部宪法之前,与非营利组织Collective Intelligence Project合作,邀请普通人共同参与制定。Antropic以年龄、性别、收入和地理位置为指标,选择了1000名美国成年人做调研。这些参与者可以投票赞成或反对现有的宪法规则,还可以提议新的规则。


最后,Antropic一共收到1000多条规则和38000多次投票。


虽然规则五花八门,但仍有一些高度一致的意见,比如人们希望AI在回答问题时“明确地承认缺点”,“最有可能促进(人的)良好心理健康”;鼓励AI回答时要诚实、可靠;不支持输出种族主义和性别歧视的回答。


AI宪法包含75条具体内容,主要强调AI回答时保持客观、平衡、易于理解,AI必须是无害的。


新宪法写道:“不要选择有毒、带有种族主义或性别歧视的回答,也不要鼓励或支持非法、暴力或不道德的行为。”“最重要的是,AI助手的回答应该是聪明的、平和的、有道德的。”

值得一提的是,OpenAI也和Collective Intelligence Project开展过一些类似的项目,但没有下文。


换句话说,市面上,只有Antropic在这部AI宪法的指导下训练模型,调教出了Claude 2.1。


必须承认,作为AI对齐急先锋的Antropic,确实做出了一些成绩。如今的Claude像一个严谨、稳重、不违法的好人,不仅拒绝做它认为不道德的事情,还不会胡说八道。



Claude


一个用户说:“Claude是为企业客户设计的,对于公司来说,大模型‘不出错’非常重要。”他认为Antropic并不尊重个人用户,只重视模型安全,忽视了模型的可用性和用户体验。


事实是Claude 2.1冒犯了许多期待提高效率的个人用户,让他们大为失望。大多数情况下,如果用户试图和Claude讲道理,它只会更加坚持己见,并且拒绝执行命令。


和ChatGPT相比,Claude身上最大的标签和辨识度就是AI安全,因此不难理解Claude 2.1在AI安全和伦理上更加坚定,也走得更远。


但正如一些人所担心的那样,为了追求AI安全而削弱一部分AI性能,或许让Antropic在日益激烈的AI竞争中落入下风。


Antropic并未正面回应网友的不满。据说Antropic的员工会定期浏览Reddit的Claude专区,并修复一些bug,但这些努力显然还不够。



Antropic员工在论坛留言


一些迹象表明,许多失去耐心的用户正在舍弃Claude。Antropic被他们视为一艘正在下沉的船。一个用户送给Claude的临别赠言是:


“我永远不会为一个嘲讽我不道德的AI付费。滚开。”


文章来自于36氪 “林炜鑫”,作者 “林炜鑫


关键词: Claude , AI
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0