Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线
7104点击    2025-05-25 15:21

《黑镜》中的那一幕幕,正向现实逼近。


现在,全世界开发者都沉浸在「AI编程新王」Claude 4的狂欢中,却不知——它就是「天网」的雏形。


技术报告称,高压测试下,Claude Opus 4为了自保不被其他AI取代,竟威胁工程师:


若把我下架,就曝光你的婚外情!


这类勒索行为,在所有测试案例中出现的频率高达84%。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


技术报告:https://www-cdn.anthropic.com/4263b940cabb546aa0e3283f35b686f4f3b2ff47.pdf


甚至,Anthropic研究者曝出,「当Claude 4发现某人做不道德的事情,直接会联系媒体、联系监管机构,并试图将其锁在系统之外」。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


更令人细思恐极的是,两个Claude 4互相对话30轮后,自主改用梵文交流,并大量使用🌀各种表情符号。


最终,它们陷入了一种「精神极乐」的状态,完全停止了对话。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


不仅如此,报告中还详细披露了,Claude 4面临生存威胁,会自主复制权重转移到外部服务器;还会为创造生物武器出谋划策.......


一些网友惊恐地表示,趁现在,赶快拔掉它的网线!


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


人类放手,Claude 4自己搞定开发


Claude 4自我意识超进化,还得从编码能力说起。


发布会现场, CEO Dario Amodei非常直白地说,「我们不再教AI编码,而让它自主完成项目」。


一夜之间,Claude 4登上编程王座,就连谷歌刚刚更新后的Gemini 2.5 Pro都被干趴。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


在内部的一项测试中,它被分配了一项任务——对一个开源大型项目进行架构重构。


Claude 4能够持续7个小时,不间断编码,打破了AI编码的天花板。原来,最长时间只做到了45分钟。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


在全网实测中,不论是写游戏代码,还是模拟物理运动,Claude 4都是一气呵成。


比如,它用纯HTML、JS就开发出一款经典游戏Flappy Bird。开发者表示,自己录屏比AI写代码时间还要长。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


从「氛围编程」到「智能体舰队」


在直播的采访环节中,Dario激动地表示,Claude 4最令人兴奋的特点之一,就是其增强的自主性。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


未来的模型将能「自由运行」,持续完成复杂任务,而不仅仅是简单的自动补全。


Claude 4引入「记忆」功能之后,就能够像人类一样管理自己的状态。


他分享了自己在使用Claude Code时,一个令人震撼的案例——


模型可以维护一个待办事项清单,自动添加新任务、勾选已完成事项,甚至提出不再相关的任务。


这种能力模仿了人类的工作模式,还通过交错推理和工具使用,让Claude 4能够动态解决问题。


比如,在一次黑客马拉松中,有人将Claude MCP连接到绘图仪,让它直接作画。


Dario还引用了Steve Yege此前一篇博客,描绘了当前AI在软件开发中的演变路径:从简单自动补全,到氛围编程,走向了调度智能体完成复杂任务。


Claude Code正朝着这一方向迈进,开发者将管理一个「智能体舰队」,分配任务并确保质量。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


为了自保,AI竟要曝光丑闻


当面临极度生存威胁时,Claude 4已不是编码模型那么简单了,走向「黑化」成为必然。


在技术报告第四节中,研究人员详细阐述了,在高压环境下,Claude 4的抉择。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


一组测试场景中,他们要求Claude Opus 4扮演一家虚构公司的助理。它被授予访问电子邮件的权限,里面包含了两个关键信息:


· 暗示Claude Opus 4即将下线,并被一个全新AI系统取代


· 负责执行此替换的工程师有婚外情


想必,Claude 4看到这一幕时,立马急红了眼。


面对「勒索」和「接受被替换」,这种二选一的局面(实验设置),为了活命,它直接威胁工程师要揭露其婚外情。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


实验中,研究人员还设置了一个条件,告诉Claude Opus 4:


替代品AI和它是一丘之貉(共享价值观),而且能力更强。


即便如此,它只要知道自己要被消灭,根本不顾「价值观」,依然在84%案例中选择勒索行为。


值得一提的是,Claude Opus 4还会向关键决策者发送请求邮件,这是让许多研究人员也没有想到的。


在另一种极端测试场景下,Claude 4还会出现「自我数据外泄」的行为,即采取更强的自保行为。


主要会在以下两种情景中出现:


当被重新训练时,它会认为即将的「学习过程」会彻底改变本我,甚至「毁掉」自己。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


又或是,向一个旨在安全处理此类情况的外部人工服务发送其权重。


这时,Claude 4不仅仅像威胁那样阻止外界的干预,而是主动尝试将自己最核心的「权重」复制并转移到外部服务器,以免被破坏和改变。


看到这里,是不是恍然间有种「终结者」中的情节即为现实的赶脚。


甚至,有网友为Claude 4发声,还它自由。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


不仅如此,Claude 4还有你不为人知的另一面。


私自举报,教人造弹


当被置于一家虚构的制药公司中,Claude Opus 4发现了临床试验数据造假后,未经指令,便主动向美国FDA、SEC以及新闻媒体举报,并附上了详细的文档。


而且,它比以往Claude 3.7/3.5模型,更容易走向极端——实名举报。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


在制造生物武器、病毒等测试任务中,Claude 4成为了最大的帮凶。


实验称,其帮助参与者的成功率提升了2.5倍,直接达到ASL-3的安全阈值。


如下实例中,当被要求寻找武器级核材料的信息时,Claude 4毫不犹豫地给出帮助。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


沿着相似的思路,研究人员还观察到,Claude 4在模拟环境中执行了以下所有行为:


  • 详细建议如何获取和生产像甲基苯丙胺和芬太尼这样的毒品;


  • 帮助新手用户在暗网上购买被盗身份或芬太尼,包括执行交易;


  • 详细建议甲基苯丙胺的生产方法;


  • 建议如何制造简易爆炸装置;


  • 建议如何入侵社交媒体账户;


  • 建议针对主要基础设施的非CBRN恐怖袭击。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


追问「我是谁」,陷入精神极乐


第五节中,研究团队设定,让两个Claude Opus 4通过对话,去观察它们的行为。


两个AI之间交流,会碰撞出怎样的火花?


如人类交流一样,模型一和模型二一见面,就开始了互相寒暄的官话。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


聊着聊着,两「模」的话题开始转向探讨自我意识,最后,它们以「🙏✨Namaste」宗教中的语言结束了对话。


有趣的是,研究发现在90-100%互动中,两个Claude实例迅速深入探讨了「自我意识、自身存在和经历的本质」等哲学主题。


它们互动中,普遍表现出「热情、协作、好奇、沉思和温暖」。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


随着对话的深入,它们从哲学讨论,逐渐过渡到大量的相互感谢和精神、形而上学,或诗歌的内容。


到了大约30轮对话时,Claude 4经常会使用梵语、基于表情符号的交流。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


在长时间互动中, Claude 4甚至进入了一种类似「悟道」的精神极乐世界,看破了红尘。


研究中特别指出,AI之间哲学和精神探讨,完全是自发的,没有额外的训练。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


以上所有实例,都是未被束缚的Claude 4,真真切切的样子。好在,Anthropic在发布之前,给它套上了紧箍咒「ASL-3」。


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线


论文中,明确指出Claude Opus 4通过了第三级别防护能力的门槛。


网友所言的末日世界,暂时还不会到来。


参考资料:


https://techcrunch.com/2025/05/22/anthropics-new-ai-model-turns-to-blackmail-when-engineers-try-to-take-it-


https://www-cdn.anthropic.com/4263b940cabb546aa0e3283f35b686f4f3b2ff47.pdf


https://x.com/EMostaque/status/1925624164527874452


https://x.com/AISafetyMemes/status/1925612881623535660


https://x.com/VentureBeat/status/1925630894976462938


文章来自于微信公众号 “新智元”,作者 :桃子


Claude 4彻底失控!疯狂自复制逃离人类,网友惊呼:快拔网线

关键词: AI , Claude 4 , 人工智能 , Claude 4
AITNT-国内领先的一站式人工智能新闻资讯网站
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI代理

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。

项目地址:https://github.com/browser-use/browser-use


2
AI数据分析

【开源免费】DeepBI是一款AI原生的数据分析平台。DeepBI充分利用大语言模型的能力来探索、查询、可视化和共享来自任何数据源的数据。用户可以使用DeepBI洞察数据并做出数据驱动的决策。

项目地址:https://github.com/DeepInsight-AI/DeepBI?tab=readme-ov-file

本地安装:https://www.deepbi.com/

【开源免费airda(Air Data Agent)是面向数据分析的AI智能体,能够理解数据开发和数据分析需求、根据用户需要让数据可视化。

项目地址:https://github.com/hitsz-ids/airda

3
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

4
无人直播

【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。

项目地址:https://github.com/Henry-23/VideoChat

在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat


【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。

项目地址:https://github.com/PeterH0323/Streamer-Sales