“智械危机”可能会爆发

OpenAI的瓜还在继续，甚至已经上升到人类存亡的历史高度。 

就在上周，头部AI公司OpenAI和谷歌的13位员工（7名OpenAI前员工和4名现任员工，1名谷歌DeepMind现任员工和1名前员工），公开发表了一封名为《对先进人工智能发出警告的权利》的联名信。 

在信中，他们用一种极为惊悚的语调表示：“ 人工智能可能带来的人类灭绝风险 ”。 

大权独揽的山姆·奥特曼

目前，这封公开信已经引发AI世界的大地震。 

甚至还获得了两位2018年图灵奖得主约书亚·本吉奥（Yoshua Bengio）、乔弗里·辛顿（Geoffrey Hinton）的署名支持。 

OpenAI和谷歌的员工们在信中曝光出一个非常惊悚的言论： 

“AI公司掌握了他们正在研究的人工智能技术的真正风险所在，但由于他们不需要向政府披露太多信息，因此他们系统的真正能力仍是一个‘秘密’。如果没有适当的监管，人工智能系统可以强大到足以造成严重危害，甚至‘灭绝人类’。” 

据信中所说，当前AI公司已经了解到安全性的严重程度，但是在高层内部正在产生分歧甚至分裂， 大多数高层认为利润至上，小部分高层认为安全性更为重要。

不得不说，这封公开信戳中了OpenAI的内部问题，甚至隐晦指出去年爆发的“OpenAI政变危机”，以及首席科学家伊利亚·苏斯克沃（Ilya Sutskever）的下台。

去年11月，OpenAI爆发政变，首席科学家伊利亚·苏斯克沃联合董事会，将CEO山姆·奥特曼和总裁格雷格·布罗克曼开除。 

这场宫斗闹剧吸引了全世界的目光，最终导致背后金主微软的下场，伊利亚·苏斯克沃政变失败，山姆·奥特曼官复原职。 

据悉，双方最大的矛盾点，就在于AI安全性。 

伊利亚·苏斯克沃

山姆·奥特曼加速OpenAI商业化，在不确定安全性是否会带来严重后果的前提下，依然成立GPT应用商店，允许私人创建GPT机器人，开放“灰色机器人”入驻ChatGPT。

在OpenAI主要负责AI监督工作的伊利亚·苏斯克沃，坚持AI安全才是OpenAI的核心，而非商业化，对山姆·奥特曼大刀阔斧的加速商业化进程非常不满。 

在2023年爆发过多次高层会议争斗之后，最终实施政变。 

在政变失败后，山姆·奥特曼彻底将OpenAI变成“一言堂”， 解除多位政见不合的董事职位，将伊利亚·苏斯克沃雪藏半年后开除。 

共同创建OpenAI的10年老搭档黯然出局，但山姆·奥特曼依然没有收手，甚至将安全部门视为“乱党党羽”，也要一一肃清。 

伊利亚·苏斯克沃负责的超级对齐团队，原本是为能够智胜和压倒创造者的超级智能人工智能的出现做准备，在伊利亚·苏斯克沃离开后，团队直接解散，几名相关研究人员离职。 

制约OpenAI风险控制团队解散，负责AI安全的“最后一把锁”被山姆·奥特曼砸碎，只能说在他眼里，AI安全并没有利益和金钱重要。 

全球400多位大佬联名警告

排除异见，让关于“安全性”的秘密保留在公司内部。 

这个做法并不能满足山姆·奥特曼，作为犹太裔的他，多疑是种天性。于是山姆·奥特曼强制性要求员工离职后一周内签署一份极其严格的“离职协议”： 

前OpenAI员工必须遵守的“保密条款”和“不贬低条款”，禁止任何时间、任何场合批评OpenAI，而且即使承认保密协议的存在也是违反该协议的行为； 

如果离职员工拒绝签署，或者违反协议规定，他们可能会失去既得股权，价值数百万美元。

同时，这份“离职协议”的期限是：终生，直至死亡。 

不得不说，作为硅谷最有权势的CEO，山姆奥特曼下手真狠。 如果把这份“警惕员工”的保密精神，用在AI安全上，可能就不会有所谓的人类AI危机了。

最为“癫”的事情来了，山姆·奥特曼一边被外界指责忽视AI安全，一边又在国际AI领域非营利组织“人工智能安全中心”（Center for AI Safety）联名发布公开信，表达了对一些高级人工智能所带来严重风险的担忧。 

是的，不止你会写信，我也会。

从规模上看，“人工智能安全中心”的联名信目前已有400多名全球的人工智能领域科学家、企业高管等签署，影响力更为深远。 

全文只有简短的一句话：Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war. 

（减轻人工智能带来的人类灭绝风险，应该与大流行病和核战争等其他影响社会的大规模风险一同成为全球性的优先事项。） 

狠话虽然放出去了，但没人执行。

在目前的头部AI公司中，普遍对AI安全性并不关注。OpenAI背后的金主微软，早在2023年3月就裁撤了整个人工智能部门内道德与社会团队。 

在互联网巨企眼中，市场份额远远比“虚无缥缈”的安全性更为关键。 

AI会不会变成“智械危机”？

将AI视为“大流行病、核战争”同等致命危险，并不是危言耸听。 

在人工智能 (AI) 技术的飞速发展下，机器人逐渐成为我们日常生活和工作中的重要组成部分。以目前AI的发展情况来说，人工智能对人类造成生存风险，至少有两种可能。 

第一种：短期内的AI危机，就是在AI智能程度还不够完善，人类会利用AI来颠覆社会安全。例如，等到AI大模型集体开源的时候，一些不法之徒利用不加限制的开源代码，采购一些英伟达GPU、再向微软租个云服务器，大批量制造出“灰色机器人”。 

这些不加节制、又难以溯源的AI，对人类社会的破坏堪比一枚“电子核弹”。 

第二种：远期的AI危机，则更接近电影、游戏中的“智械危机”。 

当AI来到超级智能的时代，由于智力水平可能远超过人类，超级智能看待人类如同人类看待蚂蚁，很多人据此认为超级智能将与人类争夺资源，甚至危及到人类的生存。

来源：网络 

面对可能对人类社会造成影响的AI危机，谷歌旗下DeepMind公司，在今年初就起草了“机器人宪法”，以确保AI机器人不会伤害人类。 

以艾萨克・阿西莫夫的“机器人三大定律”为前提，“机器人宪法”明确要求AI机器人在家庭、办公室、工厂等环境场景中，机器人的行为将受到严格的限制，以确保它们在执行任务时不会对人类、动物、尖锐物体甚至电器造成伤害。

此外，该宪法还强调了机器人的自主性和创造性，使得它们能够在人类无法胜任的环境中执行任务。 

或许，机器人宪法给AI时代开了个好头，但面临日益严峻的AI安全性问题上，普通人需要得到的保护还不够多。 

最起码，先让那些互联网巨企们知道，AI并不简简单单是笔赚钱的生意，还有可能成为一枚电子核弹。 

本文来自微信公众号“XCJ-YY”（ID：xincaijing），作者：孙鹏越